使用 Amazon Data Firehose 处理 Apache Iceberg 表

Amazon Data Firehose 是一项无服务器的无代码服务，用于将来自日志、亚马逊日志 AWS WAF 、Amazon Kinesis 数据流和适用于 Apache Kafka 的亚马逊托管流媒体（亚马逊 MSK）等20多个来源的数据流传输到亚马逊S3、Amazon Redshift、Snowflake和Splunk等目的地。 CloudWatch AWS IoT

你可以使用 Firehose 将流数据直接传送到亚马逊 S3 中的 Apache Iceberg 表。使用 Firehose，您可以将记录从单个流路由到不同的 Apache Iceberg 表，并自动对表中的记录应用插入、更新和删除操作。Firehose 保证精确一次送到冰山牌桌。此功能需要使用 AWS Glue Data Catalog。

Firehose 还可以直接将流数据传输到亚马逊 S3 表。这些表提供了针对大规模分析工作负载进行了优化的存储，并包括可持续提高查询性能和降低表格数据存储成本的功能。

有关如何设置 Firehose 流以向 Apache Iceberg 表传送数据的信息，请参阅 Firehose 文档中的设置 Firehose 流。