Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de la version 3 de la spécification du format de table Iceberg

La dernière version de la spécification du format de table Apache Iceberg est la version 3. Cette version introduit des fonctionnalités avancées pour créer des lacs de données à l'échelle du pétaoctet avec des performances améliorées et une réduction des frais d'exploitation. Il résout les problèmes de performances courants rencontrés avec la version 2, en particulier en ce qui concerne les mises à jour par lots et les opérations de suppression de conformité.

AWS prend en charge les vecteurs de suppression et le lignage des lignes tels que définis dans la spécification Iceberg version 3. Ces fonctionnalités sont disponibles avec Apache Spark sur les sites suivants Services AWS.

Principales fonctionnalités de la version 3

Les vecteurs de suppression remplacent les fichiers de suppression positionnels utilisés dans la version 2 par un format binaire efficace stocké sous forme de fichiers Puffin. Cela élimine l'amplification de l'écriture due aux mises à jour aléatoires par lots et aux suppressions conformes au règlement général sur la protection des données (RGPD), et réduit considérablement les frais de maintenance liés à la mise à jour des données. Organisations traitant des mises à jour fréquentes constateront des améliorations immédiates des performances d'écriture et une réduction des coûts de stockage grâce à la réduction du nombre de petits fichiers.

Le lignage des lignes permet un suivi précis des modifications au niveau des lignes. Vos systèmes en aval peuvent traiter les modifications de manière incrémentielle, accélérant ainsi les pipelines de données et réduisant les coûts de calcul pour les flux de travail de capture des données de modification (CDC). Cette fonctionnalité intégrée élimine le besoin d'implémentations personnalisées de suivi des modifications.

Compatibilité des versions

La version 3 maintient la rétrocompatibilité avec les tables de la version 2. Les services AWS prennent en charge les tables des versions 2 et 3 simultanément, ce qui vous permet de :

Commencer à utiliser la version 3

Prérequis

Avant de travailler avec les tables de la version 3, assurez-vous que vous disposez des éléments suivants :

Création de tables de version 3

Création de tables

Pour créer une nouvelle table Iceberg version 3, définissez la propriété de la format-version table sur 3.

À l'aide de Spark SQL :

CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)

Mise à niveau des tables de la version 2 vers la version 3

Vous pouvez mettre à niveau les tables existantes de la version 2 vers la version 3 de manière atomique sans réécrire les données.

À l'aide de Spark SQL :

ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')

Que se passe-t-il lors de la mise à niveau :

Après la mise à niveau :

La mise à niveau n'effectue pas de remblayage historique des enregistrements de suivi des modifications du lignage des lignes.

Activation des vecteurs de suppression

Pour tirer parti des vecteurs de suppression pour les mises à jour, les suppressions et les fusions, configurez votre mode d'écriture.

À l'aide de Spark SQL :

ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )

Ces paramètres garantissent que les opérations de mise à jour, de suppression et de fusion créent des fichiers vectoriels de suppression au lieu de réécrire des fichiers de données entiers.

Utilisation du lignage des lignes pour le suivi des modifications

La version 3 ajoute automatiquement des champs de métadonnées de lignage des lignes pour suivre les modifications.

À l'aide de Spark SQL :

# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence

Le _row_id champ identifie de manière unique chaque ligne et indique quand _last_updated_sequence_number la ligne a été modifiée pour la dernière fois. Utilisez ces champs pour :

Bonnes pratiques pour la version 3

Quand utiliser la version 3

Envisagez de passer à la version 3 ou de commencer par celle-ci lorsque :

Optimisation des performances d'écriture

Optimisation des performances de lecture

Stratégie de migration

Lorsque vous migrez de la version 2 vers la version 3, suivez les meilleures pratiques suivantes :

Considérations de compatibilité

Résolution de problème

Problèmes courants

Erreur : « le format version 3 n'est pas pris en charge »

Dégradation des performances après mise à niveau

Incompatibilité avec des outils tiers

Obtenir de l'aide

Tarification

Disponibilité

La prise en charge de la version 3 de la spécification du format de table Iceberg est disponible partout Régions AWS où Amazon EMR AWS Glue, AWS Glue Data Catalog, et S3 Tables fonctionnent. Pour connaître la disponibilité par région, voir Services AWS par région.

Ressources supplémentaires