Amazon Data Firehose を使用して Apache Iceberg テーブルにデータを配信する

Apache Iceberg は、ビッグデータ分析を実行するための高性能オープンソーステーブル形式です。Apache Iceberg は、SQL テーブルの信頼性とシンプルさを Amazon S3 データレイクにもたらし、Spark、Flink、Trino、Hive、Impala などのオープンソース分析エンジンが同じデータを同時に操作することを可能にします。詳細については、「Apache Iceberg」と「考慮事項と制限」を参照してください。

Firehose を使用すると、Amazon S3 の Apache Iceberg テーブルにストリーミングデータを配信できます。Apache Iceberg テーブルは、Amazon S3 でセルフマネージド型にすることも、Amazon S3 Tables でホストすることもできます。セルフマネージド型 Iceberg テーブルでは、圧縮やスナップショットの有効期限など、すべてのテーブルの最適化を管理できます。Amazon S3 Tables は、大規模な分析ワークロード用に最適化されたストレージを提供し、クエリのパフォーマンスを継続的に向上させ、表形式データのストレージコストを削減する機能を備えています。Amazon S3 Tables の詳細については、「Amazon S3 Tables」を参照してください。

この機能を使用すると、単一のストリームのレコードを異なる Apache Iceberg テーブルにルーティングできます。これらのテーブル内のレコードに対して、挿入、更新、および削除オペレーションを自動的に適用できます。また、AWS Lake Formation を使用した Amazon S3 の Apache Iceberg テーブルに対するきめ細かなデータアクセスコントロールもサポートしています。AWS Lake Formation でアクセスコントロールを一元的に指定し、Firehose に対してより詳細なテーブルレベルおよび列レベルの許可を提供できます。