Interrogez les tables Apache Iceberg

Support de version Iceberg — Athena prend en charge la version 1.4.2 d'Apache Iceberg.

Tables enregistrées auprès de Lake Formation — Athena ne prend actuellement pas en charge les opérations DDL sur les tables Iceberg enregistrées auprès de Lake Formation.

Requêtes par rapport au schéma d'informations — Lorsqu'elle interroge le schéma d'informations des tables Iceberg, Athena utilise les métadonnées S3 comme source de vérité pour les métadonnées des colonnes. Cela signifie que les informations de colonne sont dérivées des fichiers S3 sous-jacents plutôt que des métadonnées du catalogue. Ce comportement est différent des autres formats de table dans lesquels les métadonnées du catalogue peuvent être la principale source d'informations sur les colonnes.

Tables avec AWS Glue catalogue uniquement : seules les tables Iceberg créées à partir du AWS Glue catalogue sur la base des spécifications définies par l'implémentation du catalogue Glue open source sont prises en charge par Athena.

Support de verrouillage des tables AWS Glue uniquement : contrairement à l'implémentation du catalogue open source Glue, qui prend en charge le verrouillage personnalisé par plug-in, Athena prend uniquement en charge le verrouillage AWS Glue optimiste. L'utilisation d'Athena pour modifier une table Iceberg avec n'importe quelle autre implémentation de verrouillage entraînera une perte de données potentielle et interrompra les transactions.

Formats de fichiers pris en charge — La version 3 du moteur Athena prend en charge les formats de fichiers Iceberg suivants.

Métadonnées restreintes aux icebergs — Lake Formation n'évalue pas les tables de métadonnées des icebergs. Par conséquent, les tables de métadonnées Iceberg sont restreintes si des filtres de lignes ou de cellules de Lake Formation sont présents dans la table de base ou si vous n'êtes pas autorisé à afficher toutes les colonnes de la table de base. Dans de tels cas, lorsque vous interrogez les tables de métadonnées $partitions $files$manifests,, et $snapshots Iceberg, cela échoue et vous obtenez une AccessDeniedException erreur. En outre, la colonne de métadonnées $path présente les mêmes restrictions relatives à la Lake Formation et échoue lorsqu'elle est sélectionnée par la requête. Toutes les autres tables de métadonnées peuvent être consultées indépendamment des filtres Lake Formation. Pour plus d'informations, consultez la section Tables de métadonnées.

Tables Iceberg v2 : Athena ne crée et n'opère que sur des tables Iceberg v2. Pour connaître la différence entre les tables v1 et v2, consultez la section Modifications de version de format dans la documentation Apache Iceberg.

Affichage des types horaires sans fuseau horaire – L'heure et l'horodatage sans types de fuseau horaire sont affichés en UTC. Si le fuseau horaire n'est pas spécifié dans une expression de filtre sur une colonne de temps, UTC est utilisé.

Précision des données liées à l'horodatage – Bien qu'Iceberg prenne en charge la précision à la microseconde pour le type de données d'horodatage, Athena ne prend en charge que la précision à la milliseconde pour les horodatages, tant en lecture qu'en écriture. Pour les données contenues dans les colonnes liées au temps réécrites lors des opérations de compactage manuel, Athena conserve uniquement la précision a la milliseconde.

Opérations non prises en charge : les opérations Athena suivantes ne sont pas prises en charge pour les tables Iceberg.

Vues – Utiliser CREATE VIEW pour créer des vues Athena comme décrit dans Travaillez avec des vues. Si vous souhaitez utiliser la spécification de vue Iceberg pour créer des vues, contactez athena-feedback@amazon.com.

Les commandes de gestion TTF ne sont pas prises en charge dans AWS Lake Formation — Bien que vous puissiez utiliser Lake Formation pour gérer les autorisations d'accès en lecture pour des TransactionTable formats (TTFs) tels qu'Apache Iceberg, Apache Hudi et Linux Foundation Delta Lake, vous ne pouvez pas utiliser Lake Formation pour gérer les autorisations relatives à des opérations telles que VACUUM UPDATE ou OPTIMIZE avec ces formats de table. MERGE Pour plus d'informations sur l'intégration de Lake Formation à Athena, consultez la section Utilisation AWS Lake Formation avec Amazon Athena dans AWS Lake Formation le manuel du développeur.

Partitionnement par champs imbriqués – Le partitionnement par champs imbriqués n'est pas pris en charge. Cette tentative produit le message NOT_SUPPORTED : Le partitionnement par champ imbriqué n'est pas pris en charge :. column_name nested_field_name.

L'omission d'objets Amazon Glacier n'est pas prise en charge : si les objets de la table Apache Iceberg appartiennent à une classe de stockage Amazon Glacier, la définition de la propriété de la read_restored_glacier_objects table sur n'falsea aucun effet.

Par exemple, supposons que vous exécutiez la commande suivante :

ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

Pour les tables Iceberg et Delta Lake, la commande produit l'erreur Unsupported table property key: read_restored_glacier_objects. Pour les tables Hudi, la ALTER TABLE commande ne génère pas d'erreur, mais les objets Amazon Glacier ne sont toujours pas ignorés. L'exécution de requêtes SELECT après la commande ALTER TABLE continue de renvoyer tous les objets.