Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit Apache Iceberg V3

Apache Iceberg Version 3 (V3) ist die neueste Version der Apache Iceberg-Spezifikation für das Tabellenformat. Sie bietet erweiterte Funktionen für den Aufbau von Data Lakes im Petabyte-Bereich mit verbesserter Leistung und geringerem Betriebsaufwand. V3 behebt häufig auftretende Leistungsengpässe bei V2, insbesondere bei Batch-Updates und Compliance-Löschungen.

AWS bietet Unterstützung für Löschvektoren und Zeilenabstammung, wie sie in der Apache Iceberg Version 3 (V3) -Spezifikation definiert sind. Diese Funktionen sind mit Apache Spark auf Amazon EMR 7.12, AWS Glue ETL, Amazon SageMaker Unified Studio Notebooks und Apache Iceberg-Tabellen in AWS Glue Data Catalog, einschließlich Amazon S3 S3-Tabellen, verfügbar.

Die wichtigsten Funktionen von V3

Versionskompatibilität

V3 behält die Abwärtskompatibilität mit V2-Tabellen bei. AWS Dienste unterstützen sowohl V2- als auch V3-Tabellen gleichzeitig, sodass Sie:

Erste Schritte mit V3

Voraussetzungen

Bevor Sie mit V3-Tabellen arbeiten, stellen Sie sicher, dass Sie über Folgendes verfügen:

V3-Tabellen erstellen

Neue V3-Tabellen erstellen

Um eine neue Iceberg V3-Tabelle zu erstellen, setzen Sie die Tabelleneigenschaft format-version auf 3.

Verwenden von Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (  
    order_id bigint,  
    customer_id string,  
    order_date date,  
    total_amount decimal(10,2),  
    status string,  
    created_at timestamp  
)  
USING iceberg  
TBLPROPERTIES (  
    'format-version' = '3'  
)
                

Aktualisierung von V2-Tabellen auf V3

Sie können bestehende V2-Tabellen atomar auf V3 aktualisieren, ohne Daten neu schreiben zu müssen.

Verwenden von Spark SQL:

ALTER TABLE myns.existing_table  
SET TBLPROPERTIES ('format-version' = '3')
                

Was passiert während des Upgrades:

Aktivierung von Löschvektoren

Um die Vorteile von Löschvektoren für Aktualisierungen, Löschungen und Zusammenführungen zu nutzen, konfigurieren Sie Ihren Schreibmodus.

Verwenden von Spark SQL:

ALTER TABLE myns.orders_v3  
SET TBLPROPERTIES ('format-version' = '3',  
                   'write.delete.mode' = 'merge-on-read',  
                   'write.update.mode' = 'merge-on-read',  
                   'write.merge.mode' = 'merge-on-read'  
                  )
            

Diese Einstellungen stellen sicher, dass bei Aktualisierungs-, Lösch- und Zusammenführungsvorgängen Löschvektordateien erstellt werden, anstatt ganze Datendateien neu zu schreiben.

Nutzung von Row-Lineage für die Nachverfolgung von Änderungen

V3 fügt automatisch Row-Lineage-Metadatenfelder hinzu, um Änderungen nachzuverfolgen.

Verwenden von Spark SQL:

# Query with parameter value provided  
last_processed_sequence = 47  
  
SELECT   
    id,  
    data,  
    _row_id,  
    _last_updated_sequence_number  
FROM myns.orders_v3  
WHERE _last_updated_sequence_number > :last_processed_sequence
            

Das Feld _row_id identifiziert jede Zeile eindeutig, während _last_updated_sequence_number nachverfolgt, wann die Zeile zuletzt geändert wurde. Verwenden Sie diese Felder, um:

Bewährte Methoden für V3

Wann sollte V3 verwendet werden

Erwägen Sie ein Upgrade auf V3 oder einen Start mit V3, wenn:

Optimierung der Schreibleistung

Optimierung der Leseleistung

Migrationsstrategie

Bei der Migration von V2 auf V3:

Überlegungen zur Kompatibilität

Fehlerbehebung

Häufige Fehler

Abrufen von Hilfe

Preisgestaltung

Verfügbarkeit

Apache Iceberg V3-Unterstützung ist in allen AWS Regionen verfügbar, in denen Amazon EMR, AWS Glue Data Catalog, AWS Glue ETL und S3 Tables betrieben werden.

Weitere Ressourcen