Entrega de datos a tablas de Apache Iceberg con Amazon Data Firehose
Apache Iceberg es un formato de tabla de código abierto de alto rendimiento para realizar análisis de macrodatos. Apache Iceberg aporta la fiabilidad y la simplicidad de las tablas de SQL a los lagos de datos de Amazon S3 y hace posible que motores de análisis de código abierto, como Spark, Flink, Trino, Hive e Impala trabajen simultáneamente con los mismos datos. Para obtener más información, consulte Apache Iceberg
Puede usar Firehose para entregar datos de flujo a las tablas de Apache Iceberg en Amazon S3. Las tablas de Apache Iceberg pueden autogestionarse en Amazon S3 o alojarse en las tablas de Amazon S3. En las tablas de Iceberg autogestionadas, usted administra todas las optimizaciones de las tablas, como la compactación y caducidad de las instantáneas. Las tablas de Amazon S3 brindan almacenamiento optimizado para cargas de trabajo de análisis a gran escala, con características que mejoran continuamente el rendimiento de las consultas y reducen los costos de almacenamiento de los datos tabulares. Para obtener más información sobre las tablas de Amazon S3, consulte las tablas de Amazon S3.
Esta característica permite enrutar los registros de un único flujo a diferentes tablas de Apache Iceberg. Puede aplicar automáticamente operaciones de inserción, actualización y eliminación a los registros de esas tablas. Además, permite el control de acceso a datos detallado en las tablas de Apache Iceberg en Amazon S3 con AWS Lake Formation. Especifique los controles de acceso de forma centralizada en AWS Lake Formation y otorgue permisos más detallados a nivel de tabla y columna para Firehose.
