Abilitazione dell'ottimizzazione automatica delle tabelle a livello di catalogo - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitazione dell'ottimizzazione automatica delle tabelle a livello di catalogo

Puoi abilitare l'ottimizzazione automatica delle tabelle per tutte le nuove tabelle Apache Iceberg nel Data Catalog. Dopo aver creato la tabella, puoi anche aggiornare esplicitamente le impostazioni di ottimizzazione della tabella manualmente.

Per aggiornare le impostazioni del Data Catalog per abilitare le ottimizzazioni delle tabelle a livello di catalogo, il ruolo IAM utilizzato deve disporre dell'glue:UpdateCatalogautorizzazione sul catalogo principale. Puoi utilizzare l'GetCatalogAPI per verificare le proprietà del catalogo.

Per le tabelle gestite da Lake Formation, il ruolo IAM selezionato durante la configurazione di ottimizzazione del catalogo richiede Lake Formation ALTER DESCRIBEINSERT,, e DELETE le autorizzazioni per eventuali nuove tabelle o tabelle aggiornate.

  1. Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/.

  2. Nel riquadro di navigazione, scegli Data Catalog.

  3. Seleziona la scheda Cataloghi.

  4. Scegli il catalogo a livello di account.

  5. Scegli Ottimizzazioni della tabella, Modifica nella scheda Ottimizzazioni della tabella. Puoi anche scegliere Modifica ottimizzazioni dalla sezione Azioni.

    La schermata mostra l'opzione di modifica per abilitare le ottimizzazioni a livello di catalogo.

  6. Nella pagina Ottimizzazione della tabella, configura le seguenti opzioni:

    La schermata mostra le opzioni di ottimizzazione a livello di catalogo.

    1. Configura le impostazioni di compattazione:

      • Abilita/disabilita la compattazione.

      • Scegli il ruolo IAM che dispone delle autorizzazioni necessarie per eseguire gli ottimizzatori.

        Per ulteriori informazioni sui requisiti di autorizzazione per il ruolo IAM, consulta. Prerequisiti per l'ottimizzazione delle tabelle

    2. Configura le impostazioni di conservazione delle istantanee:

      • Abilita/disabilita la conservazione.

      • Imposta il periodo di conservazione delle istantanee in giorni: l'impostazione predefinita è 5 giorni.

      • Imposta il numero di istantanee da conservare: l'impostazione predefinita è 1 istantanea.

      • Abilita/disabilita la pulizia dei file scaduti.

    3. Configura le impostazioni di eliminazione dei file orfani:

      • Abilita/disabilita l'eliminazione dei file orfani.

      • Imposta il periodo di conservazione dei file orfani in giorni: il valore predefinito è 3 giorni.

  7. Scegli Save (Salva).

Utilizzate il seguente comando CLI per aggiornare un catalogo esistente con le impostazioni dell'ottimizzatore:

Esempio Aggiorna il catalogo con le impostazioni dell'ottimizzatore
aws glue update-catalog \
   --name catalog-id \
  --catalog-input \
  '{
    "CatalogId": "111122223333",
    "CatalogInput": {
        "CatalogProperties": {
            "CustomProperties": {
                "ColumnStatistics.Enabled": "false",
                "ColumnStatistics.RoleArn": "arn:aws:iam::111122223333:role/service-role/stats-role-name"
            },
            "IcebergOptimizationProperties": {
                "RoleArn": "arn:aws:iam::111122223333:role/optimizer-role-name",
                "Compaction": {
                    "enabled": "true"
                },
                "Retention": {
                    "enabled": "true",
                    "snapshotRetentionPeriodInDays": "10",
                    "numberOfSnapshotsToRetain": "5",
                    "cleanExpiredFiles": "true"
                },
                "OrphanFileDeletion": {
                    "enabled": "true",
                    "orphanFileRetentionPeriodInDays": "3"
                }
            }
        }
    }
}'

Se riscontri problemi con gli ottimizzatori a livello di catalogo, controlla quanto segue:

  • Assicurati che il ruolo IAM disponga delle autorizzazioni corrette, come indicato nella sezione Prerequisiti.

  • Controlla CloudWatch i log per eventuali messaggi di errore relativi alle operazioni dell'ottimizzatore.

    Per ulteriori informazioni, consulta Visualizzazione di parametri disponibili nella Guida per l'utente di Amazon CloudWatch .

  • Verifica che le impostazioni del catalogo siano state applicate correttamente controllando la configurazione del catalogo.

  • Per gli errori di accesso alle tabelle, controllate CloudWatch i log e EventBridge le notifiche per informazioni dettagliate sugli errori.