Fournissez des données aux tables Apache Iceberg avec Amazon Data Firehose - Amazon Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Fournissez des données aux tables Apache Iceberg avec Amazon Data Firehose

Apache Iceberg est un format de table open source performant permettant d'effectuer des analyses de mégadonnées. Apache Iceberg apporte la fiabilité et la simplicité des tables SQL aux lacs de données Amazon S3 et permet aux moteurs d'analyse open source tels que Spark, Flink, Trino, Hive et Impala de travailler simultanément avec les mêmes données. Pour plus d'informations, consultez Apache Iceberg etConsidérations et restrictions.

Vous pouvez utiliser Firehose pour transmettre des données de streaming aux tables Apache Iceberg dans Amazon S3. Vos tables Apache Iceberg peuvent être autogérées dans Amazon S3 ou hébergées dans Amazon S3 Tables. Dans les tables Iceberg autogérées, vous gérez toutes les optimisations des tables, telles que le compactage et l'expiration des instantanés. Les tables Amazon S3 fournissent un stockage optimisé pour les charges de travail analytiques à grande échelle, avec des fonctionnalités qui améliorent continuellement les performances des requêtes et réduisent les coûts de stockage des données tabulaires. Pour plus d'informations sur les tables Amazon S3, consultez la section Tables Amazon S3.

Cette fonctionnalité vous permet d'acheminer les enregistrements d'un seul flux vers différentes tables Apache Iceberg. Vous pouvez appliquer automatiquement des opérations d'insertion, de mise à jour et de suppression aux enregistrements de ces tables. Il prend également en charge le contrôle d'accès aux données précis sur les tables Apache Iceberg dans Amazon S3 avec. AWS Lake Formation Vous pouvez définir les contrôles d'accès de manière centralisée AWS Lake Formation et fournir des autorisations plus détaillées au niveau des tables et des colonnes pour Firehose.