使用 Amazon Data Firehose 将数据传输到 Apache Iceberg 表

Apache Iceberg 是用于执行大数据分析的高性能开源表格格式。Apache Iceberg 为 Amazon S3 数据湖带来了 SQL 表的可靠性和简单性，并使 Spark、Flink、Trino、Hive 和 Impala 等开源分析引擎可以同时处理相同的数据。有关更多信息，请参阅 Apache Iceberg 和 注意事项和限制。

您可以使用 Firehose 将流数据传输到 Amazon S3 中的 Apache Iceberg 表。您的 Apache Iceberg 表可以在 Amazon S3 中自行管理，也可以托管在 Amazon S3 表中。在自行管理的 Iceberg 表中，您可以管理所有表优化，例如压缩和快照过期。Amazon S3 表类数据存储服务提供针对大型分析工作负载进行优化的存储，其功能旨在持续提高查询性能并降低表格数据的存储成本。有关 Amazon S3 表类数据存储服务的更多信息，请参阅 Amazon S3 表类数据存储服务。

此功能允许您将记录从单个流路由到不同的 Apache Iceberg 表中。您可以自动对这些表中的记录应用插入、更新和删除操作。它还支持使用 AWS Lake Formation 对 Amazon S3 中的 Apache Iceberg 表进行精细的数据访问控制。您可以在 AWS Lake Formation 中集中指定访问控制，并为 Firehose 提供更精细的表级和列级权限。