Diffusion de données vers les tables Apache Iceberg avec Amazon Data Firehose - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Diffusion de données vers les tables Apache Iceberg avec Amazon Data Firehose

Apache Iceberg est un format de table open source très performant permettant d'effectuer des analyses de données volumineuses. Apache Iceberg apporte la fiabilité et la simplicité des tables SQL aux lacs de données Amazon S3 et permet aux moteurs d'analyse open source tels que Spark, Flink, Trino, Hive et Impala de travailler simultanément avec les mêmes données. Pour plus d'informations sur Apache Iceberg, consultezhttps://iceberg.apache.org/.

Vous pouvez utiliser Firehose pour fournir des données de streaming aux tables Apache Iceberg dans Amazon S3. Vos tables Apache Iceberg peuvent être autogérées dans Amazon S3 ou hébergées dans Amazon S3 Tables. Dans les tables Iceberg autogérées, vous gérez toutes les optimisations des tables, telles que le compactage et l'expiration des instantanés. Amazon S3 Tables fournit un stockage optimisé pour les charges de travail d'analytique à grande échelle, avec des fonctionnalités qui améliorent en permanence les performances des requêtes et réduisent les coûts de stockage des données tabulaires. Pour plus d'informations sur les tables Amazon S3, consultez la section Tables Amazon S3.

Cette fonctionnalité vous permet d'acheminer les enregistrements d'un seul flux vers différentes tables Apache Iceberg. Vous pouvez appliquer automatiquement des opérations d'insertion, de mise à jour et de suppression aux enregistrements de ces tables. Il prend également en charge le contrôle d'accès aux données précis sur les tables Apache Iceberg dans Amazon S3 avec. AWS Lake Formation Vous pouvez définir les contrôles d'accès de manière centralisée AWS Lake Formation et fournir des autorisations plus détaillées au niveau des tables et des colonnes pour Firehose.