Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Optimiseurs de tables au niveau du catalogue
Avec une configuration de catalogue unique, vous pouvez configurer des optimiseurs automatiques tels que le compactage, la conservation des instantanés et la suppression des fichiers orphelins pour toutes les tables Apache Iceberg nouvelles et mises à jour dans le. AWS Glue Data Catalog Les configurations d'optimiseur au niveau du catalogue vous permettent d'appliquer des paramètres d'optimisation cohérents à toutes les tables d'un catalogue, éliminant ainsi le besoin de configurer les optimiseurs individuellement pour chaque table.
Les administrateurs de data lake peuvent configurer les optimiseurs de table en sélectionnant le catalogue par défaut dans la console Lake Formation et en activant les optimiseurs à l'Table optimizationaide de cette option. Lorsque vous créez de nouvelles tables ou que vous mettez à jour des tables existantes dans le catalogue de données, le catalogue de données exécute automatiquement les optimisations des tables afin de réduire la charge opérationnelle.
Si vous avez configuré l'optimisation au niveau de la table ou si vous avez précédemment supprimé les paramètres d'optimisation des tables pour une table, ces paramètres spécifiques à la table ont priorité sur les paramètres du catalogue par défaut pour l'optimisation des tables. Si aucun paramètre de configuration n'est défini au niveau de la table ou du catalogue, la valeur de propriété de la table Iceberg sera appliquée. Ce paramètre s'applique à la conservation des instantanés et à l'optimiseur de suppression de fichiers orphelins.
Lorsque vous activez les optimiseurs au niveau du catalogue, tenez compte des points suivants :
-
Lorsque vous configurez les paramètres d'optimisation au moment de la création du catalogue, puis que vous désactivez les optimisations par le biais d'une demande de mise à jour du catalogue, l'opération se répercute sur toutes les tables du catalogue.
-
Si vous avez déjà configuré des optimiseurs pour une table donnée, l'opération de désactivation au niveau du catalogue n'aura aucun impact sur cette table.
-
Lorsque vous désactivez les optimiseurs au niveau du catalogue, les tables présentant des configurations d'optimiseur existantes conservent leurs paramètres spécifiques et ne sont pas affectées par les modifications apportées au niveau du catalogue. Toutefois, les tables dépourvues de leur propre configuration d'optimiseur hériteront de l'état désactivé au niveau du catalogue.
-
Étant donné que les optimiseurs de conservation des instantanés et de suppression de fichiers orphelins peuvent être basés sur un calendrier, les mises à jour introduiront un retard aléatoire dans le début de leur planification. Cela entraînera le démarrage de chaque optimiseur à des heures légèrement différentes, répartissant ainsi la charge et réduisant le risque de dépassement des limites de service.
Rubriques
