API dell'ottimizzatore di tabelle

• Struttura TableOptimizer

• Struttura TableOptimizerConfiguration

• Struttura TableOptimizerVpcConfiguration

• Struttura CompactionConfiguration

• Struttura IcebergCompactionConfiguration

• Struttura TableOptimizerRun

• Struttura BatchGetTableOptimizerEntry

• Struttura BatchTableOptimizer

• Struttura BatchGetTableOptimizerError

• Struttura RetentionConfiguration

• Struttura IcebergRetentionConfiguration

• Struttura OrphanFileDeletionConfiguration

• Struttura IcebergOrphanFileDeletionConfiguration

• Struttura CompactionMetrics

• Struttura RetentionMetrics

• Struttura OrphanFileDeletionMetrics

• Struttura IcebergCompactionMetrics

• Struttura IcebergRetentionMetrics

• Struttura IcebergOrphanFileDeletionMetrics

• Struttura RunMetrics

Campi

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle. I valori validi sono:

  • compaction, per gestire la compattazione con un ottimizzatore di tabelle.

  • retention, per gestire la conservazione degli snapshot con un ottimizzatore di tabelle.

  • orphan_file_deletion, per gestire l'eliminazione di file orfani con un ottimizzatore di tabelle.

• configuration: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration specificato durante la creazione o l'aggiornamento di un ottimizzatore di tabelle.

• lastRun: un oggetto TableOptimizerRun.

  Un oggetto TableOptimizerRun che rappresenta l'ultima esecuzione dell'ottimizzatore di tabelle.

• configurationSource: stringa UTF-8 (valori validi: catalog="CATALOG" | table="TABLE").

  Specifica l'origine della configurazione dell'ottimizzatore. Questo indica come è stato configurato l'ottimizzatore di tabelle e quale entità o servizio ha avviato la configurazione.

Campi

• roleArn: stringa UTF-8, non inferiore a 20 o superiore a 2048 byte di lunghezza, corrispondente a Single-line string pattern.

  Un ruolo passato dal chiamante che autorizza il servizio ad aggiornare le risorse associate all'ottimizzatore per suo conto.

• enabled: booleano.

  Se l'ottimizzazione delle tabelle è abilitata.

• vpcConfiguration: un oggetto TableOptimizerVpcConfiguration.

  Un oggetto TableOptimizerVpcConfiguration che rappresenta la configurazione del VPC per l'ottimizzatore di tabelle.

  Questa configurazione è necessaria per eseguire l'ottimizzazione sulle tabelle che si trovano nel VPC del cliente.

• compactionConfiguration: un oggetto CompactionConfiguration.

  La configurazione per un ottimizzatore di compattazione. Questa configurazione definisce come verranno compattati i file di dati nella tabella per migliorare le prestazioni delle query e ridurre i costi di archiviazione.

• retentionConfiguration: un oggetto RetentionConfiguration.

  La configurazione per un ottimizzatore della conservazione degli snapshot.

• orphanFileDeletionConfiguration: un oggetto OrphanFileDeletionConfiguration.

  La configurazione per un ottimizzatore per l'eliminazione di file orfani.

Campi

• glueConnectionName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome della connessione AWS Glue utilizzata per il VPC per l'ottimizzatore di tabelle.

Campi

• icebergConfiguration: un oggetto IcebergCompactionConfiguration.

  La configurazione per un ottimizzatore di compattazione Iceberg.

Campi

• strategy: stringa UTF-8 (valori validi: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La strategia da utilizzare per la compattazione. I valori validi sono:

  • binpack: combina file di piccole dimensioni in file più grandi, in genere con dimensioni superiori a 100 MB, applicando eventuali eliminazioni in sospeso. Questa è la strategia di compattazione consigliata per la maggior parte dei casi d'uso.

  • sort: organizza i dati in base a colonne specifiche che vengono ordinate gerarchicamente durante la compattazione, migliorando le prestazioni delle query per le operazioni filtrate. Questa strategia è consigliata quando le query vengono spesso filtrate in base a colonne specifiche. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà della tabella sort_order.

  • z-order: ottimizza l'organizzazione dei dati fondendo più attributi in un unico valore scalare che può essere utilizzato per l'ordinamento, consentendo query efficienti su più dimensioni. Questa strategia è consigliata quando è necessario eseguire query sui dati su più dimensioni contemporaneamente. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà della tabella sort_order.

  In assenza di un input preciso, sarà utilizzato il valore predefinito 'binpack'.

• minInputFiles: numero (intero).

  Il numero minimo di file di dati che devono essere presenti in una partizione prima della compattazione comprimerà effettivamente i file. Questo parametro aiuta a controllare quando viene attivata la compattazione, evitando operazioni di compattazione non necessarie su partizioni con pochi file. In assenza di un input preciso, sarà utilizzato il valore predefinito 100.

• deleteFileThreshold: numero (intero).

  Il numero minimo di eliminazioni che devono essere presenti in un file di dati per renderlo idoneo alla compattazione. Questo parametro aiuta a ottimizzare la compattazione concentrandosi sui file che contengono un numero significativo di operazioni di eliminazione, il che può migliorare le prestazioni delle query rimuovendo i record eliminati. In assenza di un input preciso, sarà utilizzato il valore predefinito 1.

Campi

• eventType: stringa UTF-8 (valori validi: starting="STARTING" | completed="COMPLETED" | failed="FAILED" | in_progress="IN_PROGRESS").

  Un tipo di evento che rappresenta lo stato dell'esecuzione dell'ottimizzatore di tabella.

• startTimestamp: timestamp.

  Rappresenta il timestamp dell'epoca in cui è stato avviato il processo di compattazione all'interno di Lake Formation.

• endTimestamp: timestamp.

  Rappresenta il timestamp dell'epoca in cui è terminato il processo di compattazione.

• metrics: un oggetto RunMetrics.

  Un oggetto RunMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

  Questo membro è obsoleto. Visualizza i singoli membri del parametro per la compattazione, la conservazione e l'eliminazione dei file orfani.

• error: stringa UTF-8.

  Un errore che si è verificato durante l'esecuzione dell'ottimizzatore.

• compactionMetrics: un oggetto CompactionMetrics.

  Un oggetto CompactionMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

• compactionStrategy: stringa UTF-8 (valori validi: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La strategia da utilizzare per l'esecuzione della compattazione. Indica quale algoritmo è stato applicato per determinare il modo in cui i file sono stati selezionati e combinati durante il processo di compattazione. I valori validi sono:

  • binpack: combina file di piccole dimensioni in file più grandi, in genere con dimensioni superiori a 100 MB, applicando eventuali eliminazioni in sospeso. Questa è la strategia di compattazione consigliata per la maggior parte dei casi d'uso.

  • sort: organizza i dati in base a colonne specifiche che vengono ordinate gerarchicamente durante la compattazione, migliorando le prestazioni delle query per le operazioni filtrate. Questa strategia è consigliata quando le query vengono spesso filtrate in base a colonne specifiche. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà della tabella sort_order.

  • z-order: ottimizza l'organizzazione dei dati fondendo più attributi in un unico valore scalare che può essere utilizzato per l'ordinamento, consentendo query efficienti su più dimensioni. Questa strategia è consigliata quando è necessario eseguire query sui dati su più dimensioni contemporaneamente. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà della tabella sort_order.

• retentionMetrics: un oggetto RetentionMetrics.

  Un oggetto RetentionMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

• orphanFileDeletionMetrics: un oggetto OrphanFileDeletionMetrics.

  Un oggetto OrphanFileDeletionMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

Campi

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Campi

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• tableOptimizer: un oggetto TableOptimizer.

  Un oggetto TableOptimizer che contiene i dettagli sulla configurazione e l'ultima esecuzione di un ottimizzatore di tabella.

Campi

• error: un oggetto ErrorDetail.

  Un oggetto ErrorDetail contenente i dettagli del codice e del messaggio di errore.

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Campi

• icebergConfiguration: un oggetto IcebergRetentionConfiguration.

  La configurazione per un ottimizzatore della conservazione degli snapshot Iceberg.

Campi

• snapshotRetentionPeriodInDays: numero (intero).

  Il numero di giorni in cui gli snapshot Iceberg devono essere mantenuti. In assenza di un input preciso, verrà utilizzato il campo di configurazione della tabella Iceberg corrispondente o, se non è presente, verrà utilizzato il valore predefinito 5.

• numberOfSnapshotsToRetain: numero (intero).

  Il numero di snapshot Iceberg da mantenere entro il periodo di conservazione. In assenza di un input preciso, verrà utilizzato il campo di configurazione della tabella Iceberg corrispondente o, se non è presente, verrà utilizzato il valore predefinito 1.

• cleanExpiredFiles: booleano.

  Se impostato su false, gli snapshot vengono eliminati solo dai metadati della tabella e i file di dati e metadati sottostanti non vengono eliminati.

• runRateInHours: numero (intero).

  L'intervallo in ore tra le esecuzioni del processo di conservazione. Questo parametro controlla la frequenza con cui verrà eseguito l'ottimizzatore di conservazione per la pulizia degli snapshot scaduti. Il valore deve essere compreso tra 3 e 168 ore (7 giorni). In assenza di un input preciso, sarà utilizzato il valore predefinito 24.

Campi

• icebergConfiguration: un oggetto IcebergOrphanFileDeletionConfiguration.

  La configurazione per un ottimizzatore per l'eliminazione di file orfani Iceberg.

Campi

• orphanFileRetentionPeriodInDays: numero (intero).

  Il numero di giorni in cui i file orfani devono essere mantenuti prima dell'eliminazione dei file. In assenza di un input preciso, sarà utilizzato il valore predefinito 3.

• location: stringa UTF-8.

  Specifica una directory in cui cercare i file (il valore predefinito è la posizione della tabella). È possibile scegliere una sottodirectory anziché la posizione della tabella di primo livello.

• runRateInHours: numero (intero).

  L'intervallo in ore tra le esecuzioni del processo di eliminazione di file orfani. Questo parametro controlla la frequenza con cui verrà eseguito l'ottimizzatore per l'eliminazione dei file orfani per la pulizia dei file orfani. Il valore deve essere compreso tra 3 e 168 ore (7 giorni). In assenza di un input preciso, sarà utilizzato il valore predefinito 24.

Campi

• IcebergMetrics: un oggetto IcebergCompactionMetrics.

  Una struttura che contiene i parametri di compattazione Iceberg per l'esecuzione dell'ottimizzatore.

Campi

• IcebergMetrics: un oggetto IcebergRetentionMetrics.

  Una struttura che contiene i parametri di conservazione Iceberg per l'esecuzione dell'ottimizzatore.

Campi

• IcebergMetrics: un oggetto IcebergOrphanFileDeletionMetrics.

  Una struttura che contiene i parametri di eliminazione dei file orfani Iceberg per l'esecuzione dell'ottimizzatore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus: numero (intero).

  Il numero di DPU utilizzate dal processo, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus: numero (intero).

  Il numero di DPU utilizzate dal processo, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus: numero (intero).

  Il numero di DPU utilizzate dal processo, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• NumberOfBytesCompacted: stringa UTF-8.

  Il numero di byte rimossi dall'esecuzione del processo di compattazione.

• NumberOfFilesCompacted: stringa UTF-8.

  Il numero di file rimossi dall'esecuzione del processo di compattazione.

• NumberOfDpus: stringa UTF-8.

  Il numero di DPU utilizzate dal processo, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: stringa UTF-8.

  La durata del processo in ore.

• Operazione GetTableOptimizer (Python: get_table_optimizer)

• Operazione BatchGetTableOptimizer (Python: batch_get_table_optimizer)

• Operazione ListTableOptimizerRuns (Python: list_table_optimizer_runs)

• Operazione CreateTableOptimizer (Python: create_table_optimizer)

• Operazione DeleteTableOptimizer (Python: delete_table_optimizer)

• Operazione UpdateTableOptimizer (Python: update_table_optimizer)

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Risposta

• CatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• DatabaseName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• TableOptimizer: un oggetto TableOptimizer.

  L'ottimizzatore associato alla tabella specificata.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• Entries: obbligatorio: una matrice di oggetti BatchGetTableOptimizerEntry.

  Un elenco di oggetti BatchGetTableOptimizerEntry che specificano gli ottimizzatori di tabella da recuperare.

Risposta

• TableOptimizers: una matrice di oggetti BatchTableOptimizer.

  Elenco di oggetti BatchTableOptimizer.

• Failures: una matrice di oggetti BatchGetTableOptimizerError.

  Un elenco di errori derivanti dall'operazione.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• MaxResults: numero (intero).

  Il numero massimo di esecuzioni dell'ottimizzatore da restituire per ogni chiamata.

• NextToken: stringa UTF-8.

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• CatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• DatabaseName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• NextToken: stringa UTF-8.

  Un token di continuazione per impaginare l'elenco restituito di esecuzioni dell'ottimizzatore, restituite se il segmento corrente dell'elenco non è l'ultimo.

• TableOptimizerRuns: una matrice di oggetti TableOptimizerRun.

  Un elenco delle esecuzioni di ottimizzazione associate a una tabella.

Errori

• EntityNotFoundException

• AccessDeniedException

• InvalidInputException

• ValidationException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• TableOptimizerConfiguration: obbligatorio: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration che rappresenta la configurazione dell'ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• ValidationException

• InvalidInputException

• AccessDeniedException

• AlreadyExistsException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• TableOptimizerConfiguration: obbligatorio: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration che rappresenta la configurazione dell'ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• ValidationException

• InternalServiceException

• ThrottlingException

• ConcurrentModificationException