Mise à jour de l’optimiseur de suppression de fichiers orphelins - AWS Glue

Mise à jour de l’optimiseur de suppression de fichiers orphelins

Vous pouvez modifier la configuration de l’optimiseur de suppression de fichiers orphelins, par exemple en modifiant la période de conservation des fichiers orphelins ou le rôle IAM utilisé par l’optimiseur à l’aide de la console AWS Glue, de l’AWS CLI ou de l’opération UpdateTableOptimizer.

AWS Management Console
Pour mettre à jour l’optimiseur de suppression de fichiers orphelins

  1. Choisissez Catalogue de données, puis choisissez Tables. Dans la liste des tables, choisissez la table dont vous souhaitez mettre à jour la configuration de l’optimiseur de suppression des fichiers orphelins.

  2. Dans la section inférieure de la page Détails des tables, choisissez Optimisation des tables, puis sélectionnez Modifier.

  3. Sur la page Modifier l’optimisation, apportez les modifications souhaitées.

  4. Choisissez Enregistrer.

AWS CLI

Vous pouvez utiliser l’appel update-table-optimizer pour mettre à jour l’optimiseur de suppression de fichiers orphelins dans AWS Glue. Cela vous permet de modifier la OrphanFileDeletionConfiguration dans le champ icebergConfiguration dans lequel vous pouvez spécifier la OrphanFileRetentionPeriodInDays mise à jour pour définir le nombre de jours pendant lesquels les fichiers orphelins seront conservés, afin de spécifier l’emplacement de la table Iceberg dans laquelle les fichiers orphelins seront supprimés. 

aws glue update-table-optimizer \
 --catalog-id 123456789012 \
 --database-name iceberg_db \
 --table-name Iceberg_table \
 --table-optimizer-configuration '{"roleArn":"arn:aws:iam::123456789012:role/optimizer_role","enabled":true, "vpcConfiguration":{"glueConnectionName":"glue_connection_name"},"orphanFileDeletionConfiguration":{"icebergConfiguration":{"orphanFileRetentionPeriodInDays":5}}}' \
 --type orphan_file_deletion
API

Appelez l’opération UpdateTableOptimizer pour mettre à jour l’optimiseur de suppression de fichiers orphelins pour une table.