Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit der Iceberg-Tabellenformatspezifikation Version 3

Die neueste Version der Apache Iceberg-Tabellenformatspezifikation ist Version 3. Diese Version bietet erweiterte Funktionen für den Aufbau von Data Lakes im Petabyte-Bereich mit verbesserter Leistung und geringerem Betriebsaufwand. Sie behebt häufig auftretende Leistungsengpässe bei Version 2, insbesondere bei Batch-Updates und Compliance-Löschvorgängen.

AWS bietet Unterstützung für Löschvektoren und Zeilenabstammung, wie sie in der Iceberg-Spezifikation Version 3 definiert sind. Diese Funktionen sind mit Apache Spark unter folgenden Bedingungen verfügbar. AWS-Services

Die wichtigsten Funktionen von Version 3

Löschvektoren ersetzen die positionsbezogenen Löschdateien, die in Version 2 verwendet wurden, durch ein effizientes Binärformat, das als Puffin-Dateien gespeichert wurde. Dadurch entfällt der Schreibaufwand bei zufälligen Batch-Updates und Löschungen im Einklang mit der Datenschutz-Grundverordnung (DSGVO). Außerdem wird der Aufwand für die Pflege aktueller Daten erheblich reduziert. Organizations, die häufig Updates verarbeiten, werden durch weniger kleine Dateien sofortige Verbesserungen der Schreibleistung und geringere Speicherkosten feststellen.

Die Zeilenherkunft ermöglicht eine präzise Nachverfolgung von Änderungen auf Zeilenebene. Ihre nachgelagerten Systeme können Änderungen inkrementell verarbeiten, wodurch Datenpipelines beschleunigt und die Rechenkosten für Workflows zur Erfassung von Änderungsdaten (CDC) gesenkt werden. Diese integrierte Funktion macht benutzerdefinierte Implementierungen zur Änderungsverfolgung überflüssig.

Versionskompatibilität

Version 3 behält die Abwärtskompatibilität mit den Tabellen der Version 2 bei. AWS-Services unterstützen Tabellen der Versionen 2 und 3 gleichzeitig, sodass Sie:

Erste Schritte mit Version 3

Voraussetzungen

Bevor Sie mit Tabellen der Version 3 arbeiten, stellen Sie sicher, dass Sie über Folgendes verfügen:

Tabellen der Version 3 werden erstellt

Erstellen neuer Tabellen

Um eine neue Iceberg-Tabelle der Version 3 zu erstellen, setzen Sie die format-version Tabelleneigenschaft auf 3.

Verwenden von Spark SQL:

CREATE TABLE IF NOT EXISTS myns.orders_v3 (
    order_id bigint,
    customer_id string,
    order_date date,
    total_amount decimal(10,2),
    status string,
    created_at timestamp
)
USING iceberg
TBLPROPERTIES (
    'format-version' = '3'
)

Aktualisierung der Tabellen von Version 2 auf Version 3

Sie können bestehende Tabellen der Version 2 atomar auf Version 3 aktualisieren, ohne Daten neu schreiben zu müssen.

Verwenden von Spark SQL:

ALTER TABLE myns.existing_table
SET TBLPROPERTIES ('format-version' = '3')

Was passiert während des Upgrades:

Nach dem Upgrade:

Bei der Aktualisierung werden keine historischen Daten von Datensätzen zur Nachverfolgung von Änderungen der Zeilenabstammung aufgefüllt.

Löschvektoren werden aktiviert

Um die Vorteile von Löschvektoren für Aktualisierungen, Löschungen und Zusammenführungen zu nutzen, konfigurieren Sie Ihren Schreibmodus.

Verwenden von Spark SQL:

ALTER TABLE myns.orders_v3
SET TBLPROPERTIES ('format-version' = '3',
                   'write.delete.mode' = 'merge-on-read',
                   'write.update.mode' = 'merge-on-read',
                   'write.merge.mode' = 'merge-on-read'
                  )

Diese Einstellungen stellen sicher, dass bei Aktualisierungs-, Lösch- und Zusammenführungsvorgängen Löschvektordateien erstellt werden, anstatt ganze Datendateien neu zu schreiben.

Verwendung der Zeilenabstammung für die Nachverfolgung von Änderungen

Version 3 fügt automatisch Metadatenfelder für die Zeilenherkunft hinzu, um Änderungen nachzuverfolgen.

Verwenden von Spark SQL:

# Query with parameter value provided
last_processed_sequence = 47

SELECT 
    id,
    data,
    _row_id,
    _last_updated_sequence_number
FROM myns.orders_v3
WHERE _last_updated_sequence_number > :last_processed_sequence

Das _row_id Feld identifiziert jede Zeile eindeutig und _last_updated_sequence_number verfolgt, wann die Zeile zuletzt geändert wurde. Verwenden Sie diese Felder, um:

Bewährte Methoden für Version 3

Wann sollte Version 3 verwendet werden

Erwägen Sie, auf Version 3 zu aktualisieren oder mit Version 3 zu beginnen, wenn:

Optimierung der Schreibleistung

Optimierung der Leseleistung

Migrationsstrategie

Beachten Sie bei der Migration von Version 2 zu Version 3 die folgenden bewährten Methoden:

Erwägungen zur Kompatibilität

Fehlerbehebung

Häufige Probleme

Fehler: „Formatversion 3 wird nicht unterstützt“

Leistungseinbußen nach dem Upgrade

Inkompatibilität mit Tools von Drittanbietern

Hilfe erhalten

Preisgestaltung

Verfügbarkeit

Die Unterstützung der Iceberg-Tabellenformatspezifikation Version 3 ist überall verfügbar, AWS-Regionen wo Amazon EMR-, AWS Glue AWS Glue Data Catalog, und S3-Tabellen eingesetzt werden. Informationen zur Verfügbarkeit in den einzelnen Regionen finden Sie unter AWS-Services Nach Regionen.

Weitere Ressourcen