Amazon Data Firehose を使用して Apache Iceberg テーブルにデータを配信する

Apache Iceberg は、ビッグデータ分析を実行するための高性能オープンソーステーブル形式です。Apache Iceberg は、SQL テーブルの信頼性とシンプルさを Amazon S3 データレイクにもたらし、Spark、Flink、Trino、Hive、Impala などのオープンソースの分析エンジンが同じデータを同時に操作できるようにします。Apache Iceberg の詳細については、「https://iceberg.apache.org/」を参照してください。

Firehose を使用して、Amazon S3 の Apache Iceberg テーブルにストリーミングデータを配信できます。Apache Iceberg テーブルは、Amazon S3 でセルフマネージド型にすることも、Amazon S3 テーブルでホストすることもできます。セルフマネージド Iceberg テーブルでは、圧縮やスナップショットの有効期限など、すべてのテーブル最適化を管理します。Amazon S3 Tables は、大規模な分析ワークロード用に最適化されたストレージを提供します。また、クエリのパフォーマンスを継続的に向上させ、表形式データのストレージコストを削減する機能を備えています。Amazon S3 Tables の詳細については、Amazon S3 Tables」を参照してください。

この機能を使用すると、1 つのストリームから異なる Apache Iceberg テーブルにレコードをルーティングできます。これらのテーブルのレコードに、挿入、更新、削除オペレーションを自動的に適用できます。また、Amazon S3 の Apache Iceberg テーブルに対するきめ細かなデータアクセスコントロールもサポートしています AWS Lake Formation。アクセスコントロールを で一元的に指定 AWS Lake Formation し、Firehose のより詳細なテーブルレベルおよび列レベルのアクセス許可を提供できます。