Entrega de datos a tablas de Apache Iceberg con Amazon Data Firehose - Amazon Data Firehose

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Entrega de datos a tablas de Apache Iceberg con Amazon Data Firehose

Apache Iceberg es un formato de tabla de código abierto de alto rendimiento para realizar análisis de macrodatos. Apache Iceberg aporta la fiabilidad y la simplicidad de las tablas SQL a los lagos de datos de Amazon S3 y hace posible que los motores de análisis de código abierto, como Spark, Flink, Trino, Hive e Impala, trabajen con los mismos datos de forma simultánea. Para obtener más información, consulte Apache Iceberg y. Consideraciones y limitaciones

Puede usar Firehose para entregar datos de streaming a Apache Iceberg Tables en Amazon S3. Sus tablas Apache Iceberg pueden gestionarse automáticamente en Amazon S3 o alojarse en Amazon S3 Tables. En las tablas Iceberg autogestionadas, usted gestiona todas las optimizaciones de las tablas, como la compactación y la caducidad de las instantáneas. Las tablas Amazon S3 proporcionan un almacenamiento optimizado para cargas de trabajo de análisis a gran escala, con características que mejoran continuamente el rendimiento de las consultas y reducen los costes de almacenamiento de los datos tabulares. Para obtener más información sobre las tablas de Amazon S3, consulte Amazon S3 Tables.

Esta función le permite enrutar los registros de una sola transmisión a diferentes tablas de Apache Iceberg. Puede aplicar automáticamente operaciones de inserción, actualización y eliminación a los registros de esas tablas. También admite un control de acceso a los datos detallado en las tablas de Apache Iceberg en Amazon S3 con. AWS Lake Formation Puede especificar los controles de acceso de forma centralizada AWS Lake Formation y proporcionar permisos más detallados a nivel de tabla y columna para Firehose.