Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo della versione 3 delle specifiche del formato di tabella Iceberg

L'ultima versione della specifica del formato di tabella di Apache Iceberg è la versione 3. Questa versione introduce funzionalità avanzate per la creazione di data lake con dimensioni di petabyte con prestazioni migliorate e costi operativi ridotti. Risolve i comuni problemi di prestazioni riscontrati con la versione 2, in particolare per quanto riguarda gli aggiornamenti in batch e le operazioni di eliminazione in conformità.

AWS fornisce supporto per i vettori di eliminazione e la derivazione delle righe come definito nella specifica Iceberg versione 3. Queste funzionalità sono disponibili con Apache Spark nei seguenti siti. Servizi AWS

Caratteristiche principali della versione 3

I vettori di eliminazione sostituiscono i file di eliminazione posizionale utilizzati nella versione 2 con un formato binario efficiente memorizzato come file Puffin. In questo modo si elimina l'amplificazione della scrittura dovuta agli aggiornamenti casuali in batch e alle cancellazioni dovute alla conformità al Regolamento generale sulla protezione dei dati (GDPR), e si riduce significativamente il sovraccarico legato alla conservazione di nuovi dati. Organizations che elaborano aggiornamenti ad alta frequenza vedranno miglioramenti immediati nelle prestazioni di scrittura e costi di storage ridotti grazie a un minor numero di file di piccole dimensioni.

La derivazione delle righe consente un tracciamento preciso delle modifiche a livello di riga. I sistemi a valle possono elaborare le modifiche in modo incrementale, velocizzando le pipeline di dati e riducendo i costi di elaborazione per i flussi di lavoro di change data capture (CDC). Questa funzionalità integrata elimina la necessità di implementazioni personalizzate per il monitoraggio delle modifiche.

Compatibilità delle versioni

La versione 3 mantiene la compatibilità con le versioni precedenti con le tabelle della versione 2. I servizi AWS supportano contemporaneamente le tabelle della versione 2 e della versione 3, quindi puoi:

Guida introduttiva alla versione 3

Prerequisiti

Prima di utilizzare le tabelle della versione 3, assicurati di disporre di:

Creazione di tabelle della versione 3

Creazione di nuove tabelle

Per creare una nuova tabella Iceberg versione 3, imposta la proprietà format-version table su 3.

Usando Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)

Aggiornamento delle tabelle della versione 2 alla versione 3

È possibile aggiornare atomicamente le tabelle della versione 2 esistenti alla versione 3 senza riscrivere i dati.

Usando Spark SQL:

ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')

Cosa succede durante l'aggiornamento:

Dopo l'aggiornamento:

L'aggiornamento non esegue un riempimento cronologico dei record di tracciamento delle modifiche alla derivazione delle righe.

Abilitazione dei vettori di eliminazione

Per sfruttare i vettori di eliminazione per aggiornamenti, eliminazioni e unioni, configura la modalità di scrittura.

Usare Spark SQL:

ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )

Queste impostazioni assicurano che le operazioni di aggiornamento, eliminazione e unione creino file vettoriali di eliminazione invece di riscrivere interi file di dati.

Utilizzo della derivazione delle righe per il tracciamento delle modifiche

La versione 3 aggiunge automaticamente i campi di metadati relativi alla derivazione delle righe per tenere traccia delle modifiche.

Usando Spark SQL:

# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence

Il _row_id campo identifica in modo univoco ogni riga e _last_updated_sequence_number tiene traccia dell'ultima modifica della riga. Usa questi campi per:

Le migliori pratiche per la versione 3

Quando usare la versione 3

Valuta la possibilità di effettuare l'aggiornamento alla versione 3 o di iniziare dalla versione 3 quando:

Ottimizzazione delle prestazioni di scrittura

Ottimizzazione delle prestazioni di lettura

Strategia di migrazione

Quando esegui la migrazione dalla versione 2 alla versione 3, segui queste best practice:

Considerazioni sulla compatibilità

Risoluzione dei problemi

Problemi comuni

Errore: «la versione di formato 3 non è supportata»

Degrado delle prestazioni dopo l'aggiornamento

Incompatibilità con strumenti di terze parti

Utilizzo della guida

Prezzi

Disponibilità

Il supporto della versione 3 della specifica del formato di tabella Iceberg è disponibile in tutti i paesi in Regioni AWS cui operano Amazon EMR AWS Glue e S3 Tables. AWS Glue Data CatalogPer la disponibilità per regione, consulta Servizi AWS per regione.

Risorse aggiuntive