Apache Iceberg テーブルを宛先として使用するための前提条件 - Amazon Data Firehose

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Apache Iceberg テーブルを宛先として使用するための前提条件

以下のオプションから選択して、必要な前提条件を満たします。

Amazon S3 で Iceberg テーブルに配信するための前提条件

開始する前に、次の前提条件を完了します。

  • Amazon S3 バケットを作成する – テーブルの作成中にメタデータファイルパスを追加するには、Amazon S3 バケットを作成する必要があります。詳細については、「Create an S3 bucket」を参照してください。

  • 必要な許可を持つ IAM ロールを作成する – Firehose には、 AWS Glue テーブルにアクセスしてデータを Amazon S3 に書き込むための特定の許可を持つ IAM ロールが必要です。同じロールを使用して、Amazon S3 バケット AWS Glue へのアクセスを許可します。Iceberg テーブルと Firehose ストリームを作成するときに、この IAM ロールが必要です。詳細については、「Amazon S3 Tables へのアクセス権を Firehose に付与する」を参照してください。

  • Apache Iceberg テーブルを作成する – 更新と削除のために Firehose ストリームで一意のキーを設定する場合、Firehose はテーブルと一意のキーがストリーム作成の一部として存在しているかどうかを検証します。このシナリオでは、Firehose ストリームを作成する前にテーブルを作成する必要があります。 AWS Glue を使用して Apache Iceberg テーブルを作成できます。詳細については、「Apache Iceberg テーブルの作成」を参照してください。Firehose ストリームで一意のキーを設定していない場合、Firehose ストリームを作成する前に Iceberg テーブルを作成する必要はありません。

    注記

    Firehose は、Apache Iceberg テーブルのために、次のテーブルバージョンと形式をサポートします。

    • テーブル形式バージョン – Firehose は V2 テーブル形式のみをサポートします。V1 形式でテーブルを作成しないでください。作成しないとエラーが発生し、代わりにデータが S3 エラーバケットに配信されます。

    • データストレージ形式 – Firehose は Parquet 形式でデータを Apache Iceberg Tables に書き込みます。

    • 行レベルのオペレーション – Firehose は、Apache Iceberg テーブルにデータを書き込む MOR (Merge-on-Read) モードをサポートしています。

Amazon S3 Tables に配信するための前提条件

Amazon S3 テーブルバケットにデータを配信するには、次の前提条件を完了します。

  • 「Amazon S3 Tables の開始方法Amazon S3バケット、名前空間、テーブルバケット内のテーブル、およびその他の統合ステップを作成します。S3 Tables カタログ統合の制限で指定されているように、S3 Tables カタログ統合によって適用される制限があるため、列名は小文字にする必要があります。

  • 必要なアクセス許可を持つ IAM ロールを作成する – Firehose には、 AWS Glue テーブルにアクセスし、Amazon S3 テーブルバケット内のテーブルにデータを書き込むための特定のアクセス許可を持つ IAM ロールが必要です。S3 テーブルバケット内のテーブルに書き込むには、必要なアクセス許可を IAM ロールに提供する必要があります AWS Lake Formation。Firehose ストリームを作成するときに、この IAM ロールを設定します。詳細については、Amazon S3に付与する」を参照してください。

  • アクセス許可の設定 AWS Lake Formation – テーブルリソースへのアクセス AWS Lake Formation を管理します。Lake Formation は、Data Catalog リソースのきめ細かなアクセスコントロールを可能にする独自のアクセス許可モデルを使用します。

step-by-stepの統合については、ブログ「Build a data lake for streaming data with Amazon S3 Tables and Amazon Data Firehose」を参照してください。詳細については、AWS 「分析サービスでの Amazon S3 Tables の使用」も参照してください。