Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Lavorare con Apache Iceberg V3

Apache Iceberg Version 3 (V3) è l'ultima versione della specifica del formato tabellare Apache Iceberg, che introduce funzionalità avanzate per la creazione di data lake su scala petabyte con prestazioni migliorate e costi operativi ridotti. La V3 risolve i problemi di prestazioni più comuni riscontrati con la versione 2 (V2), in particolare per quanto riguarda gli aggiornamenti in batch e le eliminazioni della conformità.

AWS fornisce supporto per i vettori di eliminazione, la derivazione delle righe e il tipo di dati delle varianti come definito nella specifica Apache Iceberg Version 3 (V3). Puoi utilizzare queste funzionalità con Apache Spark su Amazon EMR, Glue ETL, Amazon SageMaker Unified Studio Notebooks e le tabelle Apache Iceberg in AWS Glue Data Catalog, incluse le tabelle Amazon S3. AWS https://aws.amazon.com/s3/features/tables/ Il tipo di dati della variante è specifico per le tabelle S3.

Caratteristiche principali di V3

Compatibilità delle versioni

La V3 mantiene la retrocompatibilità con le tabelle V2. AWS i servizi supportano contemporaneamente le tabelle V2 e V3, consentendoti di:

Guida introduttiva alla V3

Prerequisiti

Prima di lavorare con le tabelle V3, assicurati di avere:

Creazione di tabelle V3

Creazione di nuove tabelle V3

Per creare una nuova tabella Iceberg V3, imposta la proprietà format-version table su 3.

Usando Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Aggiornamento delle tabelle da V2 a V3

È possibile aggiornare le tabelle V2 esistenti alla V3 atomicamente senza riscrivere i dati.

Usando Spark SQL:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Cosa succede durante l'aggiornamento:

Abilitazione dei vettori di cancellazione

Per sfruttare i vettori di eliminazione per aggiornamenti, eliminazioni e fusioni, configura la modalità di scrittura.

Usare Spark SQL:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Queste impostazioni assicurano che le operazioni di aggiornamento, eliminazione e unione creino file vettoriali di cancellazione invece di riscrivere interi file di dati.

Utilizzo Row-lineage del monitoraggio delle modifiche

V3 aggiunge automaticamente campi di metadati relativi alla derivazione delle righe per tenere traccia delle modifiche.

Usando Spark SQL:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Il campo _row_id identifica in modo univoco ogni riga, mentre _last_updated_sequence_number tiene traccia dell'ultima modifica della riga. Usa questi campi per:

Utilizzo del tipo di dati della variante

Con il tipo di dati variante, puoi scrivere dati semistrutturati come JSON direttamente nelle tue tabelle Iceberg senza definire in anticipo uno schema fisso. È possibile scrivere dati più velocemente ottenendo allo stesso tempo prestazioni efficienti delle query analitiche. I motori compatibili con Iceberg V3 suddividono i dati semistrutturati in colonne nascoste mentre li scrivi. Queste colonne nascoste generano statistiche sulle colonne Parquet che i motori di query utilizzano per ottimizzazioni come l'eliminazione dei file.

Creazione di una tabella con una colonna variante utilizzando Spark SQL:

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

Inserimento di dati semistrutturati nella colonna variante:

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

Con S3 Tables, la manutenzione delle tabelle per le colonne delle varianti, inclusa la compattazione, viene eseguita automaticamente. La compattazione consolida i dati provenienti da fonti semistrutturate da file di piccole dimensioni in file più grandi che i motori Iceberg possono leggere in modo più efficiente, migliorando le prestazioni delle query nel tempo.

Le migliori pratiche per la versione V3

Quando usare V3

Prendi in considerazione l'aggiornamento o l'avvio con V3 quando:

Ottimizzazione delle prestazioni di scrittura

Ottimizzazione delle prestazioni di lettura

Strategia di migrazione

Durante la migrazione da V2 a V3:

Considerazioni sulla compatibilità

Considerazioni sulla compattazione

Per impostazione predefinita, Compaction scrive file varianti di Parquet triturati. I lettori meno recenti che non supportano la distruzione potrebbero non riuscire a leggere i file compressi. È possibile disattivare la distruzione impostando la proprietà della tabella. write.variant.shredding.enabled=false

Risoluzione dei problemi

Problemi comuni

Utilizzo della Guida

Prezzi

Disponibilità

Il supporto di Apache Iceberg V3 per i vettori di cancellazione e la derivazione delle righe è disponibile in tutte le AWS regioni in cui operano Amazon EMR, Glue Data Catalog, AWS AWS Glue ETL e S3 Tables.

Il tipo di dati variante in S3 Tables è disponibile nelle seguenti AWS regioni: Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (Oregon), Asia Pacifico (Mumbai), Asia Pacifico (Seoul), Asia Pacifico (Singapore), Asia Pacifico (Sydney), Asia Pacifico (Tokyo), Canada (Centrale), Europa (Francoforte), Europa (Irlanda), Europa (Londra), Europa (Parigi), Europa (Parigi), Europa (Francoforte), Europa (Irlanda), Europa (Londra), Europa (Parigi), Europa (Stoccolma) e Sud America (San Paolo).

Risorse aggiuntive