Affichage des paramètres au niveau de la table automatisés - AWS Glue

Affichage des paramètres au niveau de la table automatisés

Lorsque la collecte de statistiques au niveau du catalogue est activée, chaque fois qu’une table Apache Hive ou Apache Iceberg est créée ou mise à jour via les API CreateTable ou UpdateTable par le biais de la AWS Management Console, du kit SDK ou de l’AWS Glue crawler, un paramètre de niveau table équivalent est créé pour cette table.

Les tables pour lesquelles la génération automatique de statistiques est activée doivent respecter l’une des propriétés suivantes :

  • Utiliser une InputSerdeLibrary qui commence par org.apache.hadoop et TableType égal à EXTERNAL_TABLE

  • Utiliser une InputSerdeLibrary qui commence par com.amazon.ion et TableType égal à EXTERNAL_TABLE

  • Contenir table_type : « ICEBERG » dans sa structure de paramètres

Après avoir créé ou mis à jour une table, vous pouvez vérifier ses détails pour confirmer la génération de statistiques. Statistics generation summary affiche la propriété Schedule définie comme AUTO et la valeur Statistics configuration est Inherited from catalog. Tout paramètre de table avec le paramètre suivant serait automatiquement déclenché par Glue en interne.

Une image d’une table Hive avec collecte de statistiques au niveau du catalogue a été appliquée et des statistiques ont été collectées.