API dell'ottimizzatore di tabelle

• TableOptimizer struttura

• TableOptimizerConfiguration struttura

• TableOptimizerVpcConfiguration struttura

• CompactionConfiguration struttura

• IcebergCompactionConfiguration struttura

• TableOptimizerRun struttura

• BatchGetTableOptimizerEntry struttura

• BatchTableOptimizer struttura

• BatchGetTableOptimizerError struttura

• RetentionConfiguration struttura

• IcebergRetentionConfiguration struttura

• OrphanFileDeletionConfiguration struttura

• IcebergOrphanFileDeletionConfiguration struttura

• CompactionMetrics struttura

• RetentionMetrics struttura

• OrphanFileDeletionMetrics struttura

• IcebergCompactionMetrics struttura

• IcebergRetentionMetrics struttura

• IcebergOrphanFileDeletionMetrics struttura

• RunMetrics struttura

Campi

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle. I valori validi sono:

  • compaction: per gestire la compattazione con un ottimizzatore di tabelle.

  • retention: per gestire la conservazione delle istantanee con un ottimizzatore di tabelle.

  • orphan_file_deletion: per gestire l'eliminazione di file orfani con un ottimizzatore di tabelle.

• configuration: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration specificato durante la creazione o l'aggiornamento di un ottimizzatore di tabelle.

• lastRun: un oggetto TableOptimizerRun.

  Un oggetto TableOptimizerRun che rappresenta l'ultima esecuzione dell'ottimizzatore di tabelle.

Campi

• roleArn: stringa UTF-8, non inferiore a 20 o superiore a 2048 byte di lunghezza, corrispondente a Single-line string pattern.

  Un ruolo passato dal chiamante che autorizza il servizio ad aggiornare le risorse associate all'ottimizzatore per suo conto.

• enabled: booleano.

  Se l'ottimizzazione delle tabelle è abilitata.

• vpcConfiguration: un oggetto TableOptimizerVpcConfiguration.

  Un TableOptimizerVpcConfiguration oggetto che rappresenta la configurazione VPC per un ottimizzatore di tabelle.

  Questa configurazione è necessaria per eseguire l'ottimizzazione sulle tabelle che si trovano nel VPC del cliente.

• compactionConfiguration: un oggetto CompactionConfiguration.

  La configurazione per un ottimizzatore di compattazione. Questa configurazione definisce come verranno compattati i file di dati nella tabella per migliorare le prestazioni delle query e ridurre i costi di archiviazione.

• retentionConfiguration: un oggetto RetentionConfiguration.

  La configurazione per un ottimizzatore della conservazione delle istantanee.

• orphanFileDeletionConfiguration: un oggetto OrphanFileDeletionConfiguration.

  La configurazione per un ottimizzatore per l'eliminazione di file orfani.

Campi

• glueConnectionName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome della AWS Glue connessione utilizzata per il VPC per l'ottimizzatore di tabelle.

Campi

• icebergConfiguration: un oggetto IcebergCompactionConfiguration.

  La configurazione per un ottimizzatore di compattazione Iceberg.

Campi

• strategy: stringa UTF-8 (valori validi: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La strategia da utilizzare per la compattazione. I valori validi sono:

  • binpack: combina file di piccole dimensioni in file più grandi, in genere con dimensioni superiori a 100 MB, applicando eventuali eliminazioni in sospeso. Questa è la strategia di compattazione consigliata per la maggior parte dei casi d'uso.

  • sort: organizza i dati in base a colonne specifiche che vengono ordinate gerarchicamente durante la compattazione, migliorando le prestazioni delle query per le operazioni filtrate. Questa strategia è consigliata quando le query vengono spesso filtrate in base a colonne specifiche. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà sort_order table.

  • z-order: ottimizza l'organizzazione dei dati fondendo più attributi in un unico valore scalare che può essere utilizzato per l'ordinamento, consentendo un'interrogazione efficiente su più dimensioni. Questa strategia è consigliata quando è necessario interrogare i dati su più dimensioni contemporaneamente. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà sort_order table.

  Se non viene fornito un input, verrà utilizzato il valore predefinito 'binpack'.

Campi

• eventType: stringa UTF-8 (valori validi: starting="STARTING" | completed="COMPLETED" | failed="FAILED" | in_progress="IN_PROGRESS").

  Un tipo di evento che rappresenta lo stato dell'esecuzione dell'ottimizzatore di tabella.

• startTimestamp: timestamp.

  Rappresenta il timestamp di epoca in cui è stato avviato il processo di compattazione all'interno di Lake Formation.

• endTimestamp: timestamp.

  Rappresenta il timestamp di epoca in cui è terminato il processo di compattazione.

• metrics: un oggetto RunMetrics.

  Un oggetto RunMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

  Questo membro è obsoleto. Visualizza i singoli membri della metrica per la compattazione, la conservazione e l'eliminazione dei file orfani.

• error: stringa UTF-8.

  Un errore che si è verificato durante l'esecuzione dell'ottimizzatore.

• compactionMetrics: un oggetto CompactionMetrics.

  Un oggetto CompactionMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

• compactionStrategy: stringa UTF-8 (valori validi: binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  La strategia utilizzata per il ciclo di compattazione. Indica quale algoritmo è stato applicato per determinare il modo in cui i file sono stati selezionati e combinati durante il processo di compattazione. I valori validi sono:

  • binpack: combina file di piccole dimensioni in file più grandi, in genere con dimensioni superiori a 100 MB, applicando eventuali eliminazioni in sospeso. Questa è la strategia di compattazione consigliata per la maggior parte dei casi d'uso.

  • sort: organizza i dati in base a colonne specifiche che vengono ordinate gerarchicamente durante la compattazione, migliorando le prestazioni delle query per le operazioni filtrate. Questa strategia è consigliata quando le query vengono spesso filtrate in base a colonne specifiche. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà sort_order table.

  • z-order: ottimizza l'organizzazione dei dati fondendo più attributi in un unico valore scalare che può essere utilizzato per l'ordinamento, consentendo un'interrogazione efficiente su più dimensioni. Questa strategia è consigliata quando è necessario interrogare i dati su più dimensioni contemporaneamente. Per utilizzare questa strategia, è necessario innanzitutto definire un criterio di ordinamento nelle proprietà della tabella Iceberg utilizzando la proprietà sort_order table.

• retentionMetrics: un oggetto RetentionMetrics.

  Un oggetto RetentionMetrics contenente i parametri per l'esecuzione dell'ottimizzatore.

• orphanFileDeletionMetrics: un oggetto OrphanFileDeletionMetrics.

  Un OrphanFileDeletionMetrics oggetto contenente le metriche per l'esecuzione dell'ottimizzatore.

Campi

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Campi

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• tableOptimizer: un oggetto TableOptimizer.

  Un oggetto TableOptimizer che contiene i dettagli sulla configurazione e l'ultima esecuzione di un ottimizzatore di tabella.

Campi

• error: un oggetto ErrorDetail.

  Un oggetto ErrorDetail contenente i dettagli del codice e del messaggio di errore.

• catalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• databaseName: stringa UTF-8, almeno 1 byte di lunghezza.

  Il nome del database nel catalogo in cui risiede la tabella.

• tableName: stringa UTF-8, almeno 1 byte di lunghezza.

  Nome della tabella.

• type: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Campi

• icebergConfiguration: un oggetto IcebergRetentionConfiguration.

  La configurazione per un ottimizzatore di conservazione delle istantanee Iceberg.

Campi

• snapshotRetentionPeriodInDays: numero (intero).

  Il numero di giorni per conservare le istantanee Iceberg. Se non viene fornito un input, verrà utilizzato il campo di configurazione della tabella Iceberg corrispondente o, se non è presente, verrà utilizzato il valore predefinito 5.

• numberOfSnapshotsToRetain: numero (intero).

  Il numero di istantanee Iceberg da conservare entro il periodo di conservazione. Se non viene fornito un input, verrà utilizzato il campo di configurazione della tabella Iceberg corrispondente o, se non presente, verrà utilizzato il valore predefinito 1.

• cleanExpiredFiles: booleano.

  Se impostato su false, le istantanee vengono eliminate solo dai metadati della tabella e i file di dati e metadati sottostanti non vengono eliminati.

Campi

• icebergConfiguration: un oggetto IcebergOrphanFileDeletionConfiguration.

  La configurazione per un ottimizzatore per l'eliminazione di file orfani Iceberg.

Campi

• orphanFileRetentionPeriodInDays: numero (intero).

  Il numero di giorni in cui i file orfani devono essere conservati prima dell'eliminazione dei file. Se non viene fornito un input, verrà utilizzato il valore predefinito 3.

• location: stringa UTF-8.

  Speciifica una directory in cui cercare i file (il valore predefinito è la posizione della tabella). È possibile scegliere una sottodirectory anziché la posizione della tabella di primo livello.

Campi

• IcebergMetrics: un oggetto IcebergCompactionMetrics.

  Una struttura contenente le metriche di compattazione Iceberg per il funzionamento dell'ottimizzatore.

Campi

• IcebergMetrics: un oggetto IcebergRetentionMetrics.

  Una struttura contenente le metriche di conservazione di Iceberg per l'esecuzione dell'ottimizzatore.

Campi

• IcebergMetrics: un oggetto IcebergOrphanFileDeletionMetrics.

  Una struttura contenente le metriche di eliminazione dei file orfani di Iceberg per l'esecuzione dell'ottimizzatore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus— Numero (intero).

  Il numero di energia DPUs consumata dal lavoro, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus— Numero (numero intero).

  Il numero di energia DPUs consumata dal lavoro, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• DpuHours: numero (doppio).

  Il numero di ore DPU utilizzate dal processo.

• NumberOfDpus— Numero (numero intero).

  Il numero di energia DPUs consumata dal lavoro, arrotondato per eccesso al numero intero più vicino.

• JobDurationInHour: numero (doppio).

  La durata del processo in ore.

Campi

• NumberOfBytesCompacted: stringa UTF-8.

  Il numero di byte rimossi dall'esecuzione del processo di compattazione.

• NumberOfFilesCompacted: stringa UTF-8.

  Il numero di file rimossi dall'esecuzione del processo di compattazione.

• NumberOfDpus: stringa UTF-8.

  Il numero di energia DPUs consumata dal lavoro, arrotondato al numero intero più vicino.

• JobDurationInHour: stringa UTF-8.

  La durata del processo in ore.

• GetTableOptimizer azione (Python: get_table_optimizer)

• BatchGetTableOptimizer azione (Python: batch_get_table_optimizer)

• ListTableOptimizerRuns azione (Python: list_table_optimizer_runs)

• CreateTableOptimizer azione (Python: create_table_optimizer)

• DeleteTableOptimizer azione (Python: delete_table_optimizer)

• UpdateTableOptimizer azione (Python: update_table_optimizer)

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Risposta

• CatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• DatabaseName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• TableOptimizer: un oggetto TableOptimizer.

  L'ottimizzatore associato alla tabella specificata.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• Entries: obbligatorio: una matrice di oggetti BatchGetTableOptimizerEntry.

  Un elenco di oggetti BatchGetTableOptimizerEntry che specificano gli ottimizzatori di tabella da recuperare.

Risposta

• TableOptimizers: una matrice di oggetti BatchTableOptimizer.

  Elenco di oggetti BatchTableOptimizer.

• Failures: una matrice di oggetti BatchGetTableOptimizerError.

  Un elenco di errori derivanti dall'operazione.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• MaxResults: numero (intero).

  Il numero massimo di esecuzioni dell'ottimizzatore da restituire per ogni chiamata.

• NextToken: stringa UTF-8.

  Un token di continuazione, se si tratta di una chiamata di continuazione.

Risposta

• CatalogId: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  L'ID del catalogo della tabella.

• DatabaseName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• NextToken: stringa UTF-8.

  Un token di continuazione per impaginare l'elenco restituito di esecuzioni dell'ottimizzatore, restituite se il segmento corrente dell'elenco non è l'ultimo.

• TableOptimizerRuns: una matrice di oggetti TableOptimizerRun.

  Un elenco delle esecuzioni di ottimizzazione associate a una tabella.

Errori

• EntityNotFoundException

• AccessDeniedException

• InvalidInputException

• ValidationException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• TableOptimizerConfiguration: obbligatorio: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration che rappresenta la configurazione dell'ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• ValidationException

• InvalidInputException

• AccessDeniedException

• AlreadyExistsException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Richiesta

• CatalogId - Obbligatorio:: stringa ID catalogo, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern

  L'ID del catalogo della tabella.

• DatabaseName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Il nome del database nel catalogo in cui risiede la tabella.

• TableName: obbligatorio: stringa UTF-8, non inferiore a 1 o superiore a 255 byte di lunghezza, corrispondente a Single-line string pattern.

  Nome della tabella.

• Type: obbligatorio: stringa UTF-8 (valori validi: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Il tipo di ottimizzatore di tabelle.

• TableOptimizerConfiguration: obbligatorio: un oggetto TableOptimizerConfiguration.

  Un oggetto TableOptimizerConfiguration che rappresenta la configurazione dell'ottimizzatore di tabelle.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• ValidationException

• InternalServiceException

• ThrottlingException

• ConcurrentModificationException