Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'Apache Iceberg V3

Apache Iceberg Version 3 (V3) est la dernière version de la spécification du format de table Apache Iceberg. Elle introduit des fonctionnalités avancées pour créer des lacs de données à l'échelle du pétaoctet avec des performances améliorées et une réduction des coûts opérationnels. La V3 résout les problèmes de performances courants rencontrés avec la V2, en particulier en ce qui concerne les mises à jour par lots et les suppressions de conformité.

AWS prend en charge les vecteurs de suppression et le lignage des lignes tels que définis dans la spécification Apache Iceberg version 3 (V3). Ces fonctionnalités sont disponibles avec Apache Spark on Amazon EMR 7.12, AWS Glue ETL,Amazon SageMaker Unified Studio Notebooks et les tables Apache Iceberg du catalogue de données AWS Glue, y compris les tables Amazon S3.

Principales fonctionnalités de la V3

Compatibilité des versions

La V3 maintient la rétrocompatibilité avec les tables V2. AWS les services prennent en charge simultanément les tables V2 et V3, ce qui vous permet de :

Débuter avec la V3

Conditions préalables

Avant de travailler avec des tables V3, assurez-vous d'avoir :

Création de tables V3

Création de nouvelles tables V3

Pour créer une nouvelle table Iceberg V3, définissez la propriété de la table format-version sur 3.

À l'aide de Spark SQL :

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Mise à niveau des tables V2 vers la V3

Vous pouvez mettre à niveau les tables V2 existantes vers la V3 de manière atomique sans réécrire les données.

À l'aide de Spark SQL :

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Que se passe-t-il lors de la mise à niveau :

Activation des vecteurs de suppression

Pour tirer parti des vecteurs de suppression pour les mises à jour, les suppressions et les fusions, configurez votre mode d'écriture.

À l'aide de Spark SQL :

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Ces paramètres garantissent que les opérations de mise à jour, de suppression et de fusion créent des fichiers vectoriels de suppression au lieu de réécrire des fichiers de données entiers.

Tirer parti du lignage des lignes pour le suivi des modifications

La V3 ajoute automatiquement des champs de métadonnées de lignage pour suivre les modifications.

À l'aide de Spark SQL :

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Le champ _row_id identifie chaque ligne de manière unique, tandis que _last_updated_sequence_number indique la date de dernière modification de la ligne. Utilisez ces champs pour :

Bonnes pratiques pour la V3

Quand utiliser la V3

Envisagez de passer à la version 3 ou de commencer par celle-ci dans les cas suivants :

Optimisation des performances d'écriture

Optimisation des performances de lecture

Stratégie de migration

Lors de la migration de la V2 vers la V3 :

Considérations de compatibilité

Résolution des problèmes

Problèmes courants

Obtenir de l'aide

Tarification

Disponibilité

La prise en charge d'Apache Iceberg V3 est disponible dans toutes les AWS régions où Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL et S3 Tables fonctionnent.

Ressources supplémentaires