Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Travailler avec Apache Iceberg V3

Apache Iceberg Version 3 (V3) est la dernière version de la spécification du format de table Apache Iceberg, qui introduit des fonctionnalités avancées pour créer des lacs de données à l'échelle du pétaoctet avec des performances améliorées et une charge opérationnelle réduite. La version 3 corrige les problèmes de performances courants rencontrés avec la version 2 (V2), notamment en ce qui concerne les mises à jour par lots et les suppressions de conformité.

AWS prend en charge les vecteurs de suppression, le lignage des lignes et le type de données variant tel que défini dans la spécification Apache Iceberg version 3 (V3). Vous pouvez utiliser ces fonctionnalités avec Apache Spark sur Amazon EMR, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks et les tables Apache Iceberg du catalogue de données AWS Glue, y compris les tables Amazon S3. Le type de données variant est spécifique aux tables S3.

Principales fonctionnalités de la V3

Compatibilité des versions

La version V3 assure la rétrocompatibilité avec les tables V2. AWS les services prennent en charge simultanément les tables V2 et V3, ce qui vous permet de :

Débuter avec la V3

Conditions préalables

Avant de travailler avec les tables V3, assurez-vous de disposer des éléments suivants :

Création de tableaux V3

Création de nouvelles tables V3

Pour créer une nouvelle table Iceberg V3, définissez la propriété de table format-version sur 3.

À l'aide de Spark SQL :

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Mise à niveau des tables V2 vers V3

Vous pouvez mettre à niveau les tables V2 existantes vers la V3 de manière atomique sans réécrire les données.

À l'aide de Spark SQL :

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Que se passe-t-il lors de la mise à niveau :

Activation des vecteurs de suppression

Pour tirer parti des vecteurs de suppression pour les mises à jour, les suppressions et les fusions, configurez votre mode d'écriture.

À l'aide de Spark SQL :

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Ces paramètres garantissent que les opérations de mise à jour, de suppression et de fusion créent des fichiers vectoriels de suppression au lieu de réécrire des fichiers de données entiers.

Tirer parti Row-lineage du suivi des modifications

La version 3 ajoute automatiquement des champs de métadonnées de lignage de lignes pour suivre les modifications.

À l'aide de Spark SQL :

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Le champ _row_id identifie chaque ligne de manière unique, tandis que _last_updated_sequence_number indique la date de dernière modification de la ligne. Utilisez ces champs pour :

Utilisation du type de données variant

Avec le type de données variant, vous pouvez écrire des données semi-structurées telles que JSON directement dans vos tables Iceberg sans définir de schéma fixe à l'avance. Vous pouvez écrire des données plus rapidement tout en bénéficiant de performances de requêtes analytiques efficaces. Les moteurs compatibles avec Iceberg V3 détruisent vos données semi-structurées dans des colonnes masquées au fur et à mesure que vous les écrivez. Ces colonnes masquées génèrent des statistiques de colonnes Parquet que les moteurs de requêtes utilisent pour des optimisations telles que l'élagage des fichiers.

Création d'une table avec une colonne de variantes à l'aide de Spark SQL :

CREATE TABLE IF NOT EXISTS myns.events (
    event_id bigint,
    event_timestamp timestamp,
    source string,
    event_data VARIANT
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)
            

Insérer des données semi-structurées dans la colonne des variantes :

INSERT INTO myns.events VALUES (
    1,
    current_timestamp(),
    'web-app',
    PARSE_JSON('{"user_id": "u-1234", "action": "page_view", "page": "/products", "duration_ms": 350}')
);

INSERT INTO myns.events VALUES (
    2,
    current_timestamp(),
    'mobile-app',
    PARSE_JSON('{"user_id": "u-5678", "action": "purchase", "items": [{"sku": "A100", "qty": 2}], "total": 49.99}')
);
            

Avec S3 Tables, la maintenance des tables pour les différentes colonnes, y compris le compactage, s'exécute automatiquement. Le compactage consolide les données provenant de sources semi-structurées provenant de petits fichiers dans des fichiers plus volumineux que les moteurs Iceberg peuvent lire plus efficacement, améliorant ainsi les performances des requêtes au fil du temps.

Meilleures pratiques pour la V3

Quand utiliser la V3

Envisagez de passer à la V3 ou de commencer par celle-ci lorsque :

Optimisation des performances d'écriture

Optimisation des performances de lecture

Stratégie de migration

Lors de la migration de la V2 vers la V3 :

Considérations de compatibilité

Considérations relatives au compactage

Compaction écrit par défaut des fichiers Parquet variants déchiquetés. Les anciens lecteurs qui ne prennent pas en charge le déchiquetage risquent de ne pas pouvoir lire les fichiers compactés. Vous pouvez désactiver le déchiquetage en définissant la propriété write.variant.shredding.enabled=false de la table.

Résolution des problèmes

Problèmes courants

Obtenir de l'aide

Tarification

Disponibilité

La prise en charge par Apache Iceberg V3 des vecteurs de suppression et du lignage des lignes est disponible dans toutes les AWS régions où Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL et S3 Tables opèrent.

Le type de données variant dans S3 Tables est disponible dans les AWS régions suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (Centre), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Paris), Europe (Stockholm) et Sud Amérique (São Paulo).

Ressources supplémentaires