Utilisation des tables Apache Iceberg à l'aide d'Amazon Data Firehose - AWS Conseils prescriptifs

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des tables Apache Iceberg à l'aide d'Amazon Data Firehose

Amazon Data Firehose est un service sans serveur et sans code permettant de diffuser des flux de données provenant de plus de 20 sources telles que les logs AWS WAF , Amazon Logs, Amazon CloudWatch Kinesis Data Streams et Amazon Managed Streaming for Apache Kafka (Amazon MSK) vers des destinations telles qu'Amazon S3, Amazon Redshift, Snowflake et Splunk. AWS IoT

Vous pouvez utiliser Firehose pour transmettre directement des données de streaming aux tables Apache Iceberg dans Amazon S3. Firehose vous permet d'acheminer les enregistrements d'un flux unique vers différentes tables Apache Iceberg et d'appliquer automatiquement des opérations d'insertion, de mise à jour et de suppression aux enregistrements des tables. Firehose garantit une livraison en une seule fois sur les tables Iceberg. Cette fonctionnalité nécessite l'utilisation du AWS Glue Data Catalog.

Firehose peut également fournir directement des données de streaming aux tables Amazon S3. Ces tables fournissent un stockage optimisé pour les charges de travail analytiques à grande échelle et incluent des fonctionnalités qui améliorent en permanence les performances des requêtes et réduisent les coûts de stockage des données tabulaires.

Pour plus d'informations sur la configuration d'un flux Firehose afin de fournir des données aux tables Apache Iceberg, consultez la section Configurer le flux Firehose dans la documentation Firehose.