使用 Amazon Data Firehose 處理 Apache Iceberg 資料表

Amazon Data Firehose 是一種無伺服器、無程式碼服務，可將超過 20 個來源的資料串流，例如 AWS WAF 日誌、Amazon CloudWatch Logs AWS IoT、Amazon Kinesis Data Streams 和 Amazon Managed Streaming for Apache Kafka (Amazon MSK)，交付至 Amazon S3、Amazon Redshift、Snowflake 和 Splunk 等目的地。

您可以使用 Firehose 將串流資料直接交付至 Amazon S3 中的 Apache Iceberg 資料表。使用 Firehose，您可以將記錄從單一串流路由到不同的 Apache Iceberg 資料表，並自動將插入、更新和刪除操作套用至資料表中的記錄。Firehose 保證準確交付至 Iceberg 資料表一次。此功能需要使用 AWS Glue Data Catalog。

Firehose 也可以直接將串流資料交付至 Amazon S3 資料表。這些資料表提供針對大規模分析工作負載最佳化的儲存體，並包含可持續改善查詢效能並降低表格式資料儲存成本的功能。

如需有關如何設定 Firehose 串流以將資料交付至 Apache Iceberg 資料表的資訊，請參閱 Firehose 文件中的設定 Firehose 串流。