Voraussetzungen für die Verwendung von Apache Iceberg Tables als Ziel - Amazon Data Firehose
Voraussetzungen für die Lieferung an Iceberg Tables in Amazon S3Voraussetzungen für die Lieferung an Amazon S3 Tables

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Voraussetzungen für die Verwendung von Apache Iceberg Tables als Ziel

Wählen Sie aus den folgenden Optionen aus, um die erforderlichen Voraussetzungen zu erfüllen.

Voraussetzungen für die Lieferung an Iceberg Tables in Amazon S3

Stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind, bevor Sie die folgenden Voraussetzungen erfüllen.

  • Erstellen Sie einen Amazon S3 S3-Bucket — Sie müssen einen Amazon S3 S3-Bucket erstellen, um bei der Tabellenerstellung einen Metadatendateipfad hinzuzufügen. Weitere Informationen finden Sie unter Erstellen eines S3-Buckets.

  • Erstellen Sie eine IAM- Rolle mit den erforderlichen Berechtigungen — Firehose benötigt eine IAM- Rolle mit spezifischen Berechtigungen, um auf AWS Glue -Tabellen zuzugreifen und Daten in Amazon S3 zu schreiben. Dieselbe Rolle wird verwendet, um AWS Glue Zugriff auf Amazon S3 S3-Buckets zu gewähren. Sie benötigen diese IAM-Rolle, wenn Sie eine Iceberg-Tabelle und einen Firehose-Stream erstellen. Weitere Informationen finden Sie unter Firehose Zugriff auf Amazon S3 S3-Tabellen gewähren.

  • Apache Iceberg-Tabellen erstellen — Wenn Sie eindeutige Schlüssel im Firehose-Stream für Aktualisierungen und Löschungen konfigurieren, überprüft Firehose, ob die Tabelle und die eindeutigen Schlüssel als Teil der Stream-Erstellung existieren. Für dieses Szenario müssen Sie Tabellen erstellen, bevor Sie den Firehose-Stream erstellen. Sie können AWS Glue damit Apache Iceberg-Tabellen erstellen. Weitere Informationen finden Sie unter Creating Apache Iceberg tables. Wenn Sie keine eindeutigen Schlüssel im Firehose-Stream konfigurieren, müssen Sie keine Iceberg-Tabellen erstellen, bevor Sie einen Firehose-Stream erstellen.

    Anmerkung

    Firehose unterstützt die folgende Tabellenversion und das folgende Format für Apache Iceberg-Tabellen.

    • Version im Tabellenformat — Firehose unterstützt nur das V2-Tabellenformat. Erstellen Sie keine Tabellen im V1-Format, da Sie sonst eine Fehlermeldung erhalten und stattdessen Daten an den S3-Fehler-Bucket gesendet werden.

    • Datenspeicherformat — Firehose schreibt Daten im Parquet-Format in Apache Iceberg-Tabellen.

    • Operation auf Zeilenebene — Firehose unterstützt den Modus Merge-on-Read (MOR) zum Schreiben von Daten in Apache Iceberg-Tabellen.

Voraussetzungen für die Lieferung an Amazon S3 Tables

Stellen Sie sicher, dass die folgenden Voraussetzungen erfüllt sind, um Daten an Amazon S3 Table Buckets zu liefern.

  • Erstellen Sie einen S3-Tabellen-Bucket, einen Namespace, Tabellen im Tabellen-Bucket und andere Integrationsschritte, die unter Erste Schritte mit Amazon S3 S3-Tabellen beschrieben sind. Spaltennamen müssen aufgrund der Einschränkungen, die durch die S3-Tabellen-Katalogintegration auferlegt werden, in Kleinbuchstaben geschrieben werden, wie unter Einschränkungen der S3-Tabellen-Katalogintegration beschrieben.

  • Erstellen Sie eine IAM-Rolle mit den erforderlichen Berechtigungen — Firehose benötigt eine IAM-Rolle mit bestimmten Berechtigungen, um auf AWS Glue Tabellen zuzugreifen und Daten in Tabellen in einem Amazon S3 S3-Tabellen-Bucket zu schreiben. Um in Tabellen in einem S3-Tabellen-Bucket zu schreiben, müssen Sie der IAM-Rolle außerdem die erforderlichen Berechtigungen in geben. AWS Lake Formation Sie konfigurieren diese IAM-Rolle, wenn Sie einen Firehose-Stream erstellen. Weitere Informationen finden Sie unter Firehose Zugriff auf Amazon S3 S3-Tabellen gewähren.

  • AWS Lake Formation Berechtigungen konfigurieren — AWS Lake Formation verwaltet den Zugriff auf Ihre Tabellenressourcen. Lake Formation verwendet sein eigenes Berechtigungsmodell, das eine detaillierte Zugriffskontrolle für Datenkatalogressourcen ermöglicht.

Informationen zur step-by-step Integration finden Sie im Blog Build a Data Lake for Streaming Data with Amazon S3 Tables and Amazon Data Firehose. Weitere Informationen finden Sie auch unter Amazon S3-Tabellen mit AWS Analysediensten verwenden.