API d'optimiseur de table

• Structure du TableOptimizer

• Structure TableOptimizerConfiguration

• Structure TableOptimizerVpcConfiguration

• Structure CompactionConfiguration

• Structure IcebergCompactionConfiguration

• Structure TableOptimizerRun

• Structure BatchGetTableOptimizerEntry

• Structure BatchTableOptimizer

• Structure BatchGetTableOptimizerError

• Structure RetentionConfiguration

• Structure IcebergRetentionConfiguration

• Structure OrphanFileDeletionConfiguration

• Structure IcebergOrphanFileDeletionConfiguration

• Structure CompactionMetrics

• Structure RetentionMetrics

• Structure OrphanFileDeletionMetrics

• Structure IcebergCompactionMetrics

• Structure IcebergRetentionMetrics

• Structure IcebergOrphanFileDeletionMetrics

• Structure RunMetrics

Champs

• type – Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table. Les valeurs valides sont :

  • compaction : pour gérer le compactage à l’aide d’un optimiseur de table.

  • retention : pour gérer la conservation des instantanés à l’aide d’un optimiseur de table.

  • orphan_file_deletion : pour gérer la suppression de fichiers orphelins à l’aide d’un optimiseur de table.

• configuration – Un objet TableOptimizerConfiguration.

  Un objet TableOptimizerConfiguration spécifié lors de la création ou de la mise à jour d'un optimiseur de table.

• lastRun – Un objet TableOptimizerRun.

  Un objet TableOptimizerRun représentant la dernière exécution de l'optimiseur de table.

• configurationSource – Chaîne UTF-8 (valeurs valides : catalog="CATALOG" | table="TABLE").

  Spécifie la source de la configuration de l’optimiseur. Cela indique comment l’optimiseur de table a été configuré et quelle entité ou quel service a initié la configuration.

Champs

• roleArn – chaîne UTF-8, d’une longueur comprise entre 20 et 2048 octets, correspondant au Single-line string pattern.

  Un rôle transmis par l'appelant qui autorise le service à mettre à jour les ressources associées à l'optimiseur au nom de l'appelant.

• enabled : booléen.

  Si l'optimisation des tables est activée.

• vpcConfiguration – Un objet TableOptimizerVpcConfiguration.

  Un objet TableOptimizerVpcConfiguration représentant la configuration VPC pour un optimiseur de table.

  Cette configuration est nécessaire pour optimiser les tables qui se trouvent dans un VPC client.

• compactionConfiguration – Un objet CompactionConfiguration.

  Configuration d’un optimiseur de compactage. Cette configuration définit la manière dont les fichiers de données de votre table seront compactés afin d’améliorer les performances des requêtes et de réduire les coûts de stockage.

• retentionConfiguration – Un objet RetentionConfiguration.

  Configuration d’un optimiseur de conservation d’instantanés.

• orphanFileDeletionConfiguration : un objet OrphanFileDeletionConfiguration.

  Configuration d’un optimiseur de suppression de fichiers orphelins.

Champs

• glueConnectionName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la connexion AWS Glue utilisée pour le VPC pour l’optimiseur de table.

Champs

• icebergConfiguration : un objet IcebergCompactionConfiguration.

  Configuration d’un optimiseur de compactage Iceberg.

Champs

• strategy – Chaîne UTF-8 (valeurs valides : binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  Stratégie à utiliser pour le compactage. Les valeurs valides sont :

  • binpack : combine de petits fichiers en fichiers plus volumineux, en ciblant généralement des tailles supérieures à 100 Mo, tout en appliquant les suppressions en attente. Il s’agit de la stratégie de compactage recommandée dans la plupart des cas d’utilisation.

  • sort : organise les données en fonction de colonnes spécifiées qui sont triées hiérarchiquement lors du compactage, améliorant ainsi les performances des requêtes pour les opérations filtrées. Cette stratégie est recommandée lorsque vos requêtes filtrent fréquemment sur des colonnes spécifiques. Pour utiliser cette stratégie, vous devez d’abord définir un ordre de tri dans les propriétés de votre table Iceberg à l’aide de la propriété de table sort_order.

  • z-order : optimise l’organisation des données en fusionnant plusieurs attributs en une seule valeur scalaire qui peut être utilisée pour le tri, ce qui permet d’effectuer des requêtes efficaces sur plusieurs dimensions. Cette stratégie est recommandée lorsque vous devez interroger des données simultanément sur plusieurs dimensions. Pour utiliser cette stratégie, vous devez d’abord définir un ordre de tri dans les propriétés de votre table Iceberg à l’aide de la propriété de table sort_order.

  Si aucune entrée n’est fournie, la valeur par défaut « binpack » sera utilisée.

• minInputFiles : nombre (entier).

  Le nombre minimum de fichiers de données qui doivent être présents dans une partition avant le compactage permet en réalité de compacter les fichiers. Ce paramètre permet de contrôler le moment où le compactage est déclenché, empêchant ainsi les opérations de compactage inutiles sur les partitions contenant peu de fichiers. Si aucune entrée n’est fournie, la valeur par défaut 100 sera utilisée.

• deleteFileThreshold : nombre (entier).

  Nombre minimal de suppressions qui doivent être présentes dans un fichier de données pour qu’il puisse être compacté. Ce paramètre permet d’optimiser le compactage en se concentrant sur les fichiers contenant un nombre important d’opérations de suppression, ce qui peut améliorer les performances des requêtes en supprimant les enregistrements supprimés. Si aucune entrée n’est fournie, la valeur par défaut 1 sera utilisée.

Champs

• eventType – Chaîne UTF-8 (valeurs valides : starting="STARTING" | completed="COMPLETED" | failed="FAILED" | in_progress="IN_PROGRESS").

  Un type d'événement représentant l'état de l'exécution de l'optimiseur de table.

• startTimestamp – Horodatage.

  Représente l'horodatage de l'époque à laquelle la tâche de compactage a commencé dans Lake Formation.

• endTimestamp – Horodatage.

  Représente l'horodatage de l'époque à laquelle la tâche de compactage s'est terminée.

• metrics – Un objet RunMetrics.

  Un objet RunMetrics contenant des métriques pour l'exécution de l'optimiseur.

  Ce membre est obsolète. Consultez les membres individuels de la métrique pour le compactage, la conservation et la suppression des fichiers orphelins.

• error – Chaîne UTF-8.

  Une erreur survenue lors de l'exécution de l'optimiseur.

• compactionMetrics – Un objet CompactionMetrics.

  Un objet CompactionMetrics contenant des métriques pour l'exécution de l'optimiseur.

• compactionStrategy – Chaîne UTF-8 (valeurs valides : binpack="BINPACK" | sort="SORT" | z-order="ZORDER").

  Stratégie utilisée pour l’exécution du compactage. Indique quel algorithme a été appliqué pour déterminer comment les fichiers ont été sélectionnés et combinés pendant le processus de compactage. Les valeurs valides sont :

  • binpack : combine de petits fichiers en fichiers plus volumineux, en ciblant généralement des tailles supérieures à 100 Mo, tout en appliquant les suppressions en attente. Il s’agit de la stratégie de compactage recommandée dans la plupart des cas d’utilisation.

  • sort : organise les données en fonction de colonnes spécifiées qui sont triées hiérarchiquement lors du compactage, améliorant ainsi les performances des requêtes pour les opérations filtrées. Cette stratégie est recommandée lorsque vos requêtes filtrent fréquemment sur des colonnes spécifiques. Pour utiliser cette stratégie, vous devez d’abord définir un ordre de tri dans les propriétés de votre table Iceberg à l’aide de la propriété de table sort_order.

  • z-order : optimise l’organisation des données en fusionnant plusieurs attributs en une seule valeur scalaire qui peut être utilisée pour le tri, ce qui permet d’effectuer des requêtes efficaces sur plusieurs dimensions. Cette stratégie est recommandée lorsque vous devez interroger des données simultanément sur plusieurs dimensions. Pour utiliser cette stratégie, vous devez d’abord définir un ordre de tri dans les propriétés de votre table Iceberg à l’aide de la propriété de table sort_order.

• retentionMetrics – Un objet RetentionMetrics.

  Un objet RetentionMetrics contenant des métriques pour l'exécution de l'optimiseur.

• orphanFileDeletionMetrics : un objet OrphanFileDeletionMetrics.

  Objet OrphanFileDeletionMetrics contenant des métriques pour l’exécution de l’optimiseur.

Champs

• catalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• databaseName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la base de données du catalogue où se trouve la table.

• tableName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la table.

• type – Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

Champs

• catalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• databaseName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la base de données du catalogue où se trouve la table.

• tableName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la table.

• tableOptimizer – Un objet TableOptimizer.

  Un objet TableOptimizer qui contient des détails sur la configuration et la dernière exécution d’un optimiseur de table.

Champs

• error : un objet ErrorDetail.

  Un objet ErrorDetail contenant le code et les détails du message sur l'erreur.

• catalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• databaseName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la base de données du catalogue où se trouve la table.

• tableName — Chaîne UTF-8, d'une longueur minimale de 1 octet.

  Nom de la table.

• type – Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

Champs

• icebergConfiguration : un objet IcebergRetentionConfiguration.

  Configuration d’un optimiseur de conservation des instantanés Iceberg.

Champs

• snapshotRetentionPeriodInDays : nombre (entier).

  Nombre de jours pendant lesquels les instantanés Iceberg doivent être conservés. Si aucune entrée n’est fournie, le champ de configuration de table Iceberg correspondant sera utilisé ou, s’il n’est pas présent, la valeur par défaut 5 sera utilisée.

• numberOfSnapshotsToRetain : nombre (entier).

  Nombre d’instantanés Iceberg à conserver pendant la période de conservation. Si aucune entrée n’est fournie, le champ de configuration de table Iceberg correspondant sera utilisé ou, s’il n’est pas présent, la valeur par défaut 1 sera utilisée.

• cleanExpiredFiles : booléen.

  Si cette valeur est définie sur false, les instantanés sont uniquement supprimés des métadonnées de la table, et les fichiers de données et de métadonnées sous-jacents ne sont pas supprimés.

• runRateInHours : nombre (entier).

  Intervalle en heures entre les exécutions des tâches de conservation. Ce paramètre contrôle la fréquence d’exécution de l’optimiseur de conservation pour nettoyer les instantanés expirés. La valeur doit être comprise entre 3 et 168 heures (7 jours). Si aucune entrée n’est fournie, la valeur par défaut 24 sera utilisée.

Champs

• icebergConfiguration : un objet IcebergOrphanFileDeletionConfiguration.

  Configuration d’un optimiseur de suppression de fichiers orphelins Iceberg.

Champs

• orphanFileRetentionPeriodInDays : nombre (entier).

  Nombre de jours pendant lesquels les fichiers orphelins doivent être conservés avant leur suppression. Si aucune entrée n’est fournie, la valeur par défaut 3 sera utilisée.

• location – Chaîne UTF-8.

  Spécifie un répertoire dans lequel les fichiers seront recherchés (par défaut, l’emplacement de la table). Vous pouvez choisir un sous-répertoire plutôt que l’emplacement de la table de niveau supérieur.

• runRateInHours : nombre (entier).

  L’intervalle en heures entre les exécutions des tâches de suppression de fichiers orphelins. Ce paramètre contrôle la fréquence à laquelle l’optimiseur de suppression des fichiers orphelins sera exécuté pour nettoyer les fichiers orphelins. La valeur doit être comprise entre 3 et 168 heures (7 jours). Si aucune entrée n’est fournie, la valeur par défaut 24 sera utilisée.

Champs

• IcebergMetrics : un objet IcebergCompactionMetrics.

  Structure contenant les métriques de compactage Iceberg pour l’exécution de l’optimiseur.

Champs

• IcebergMetrics : un objet IcebergRetentionMetrics.

  Structure contenant les métriques de conservation Iceberg pour l’exécution de l’optimiseur.

Champs

• IcebergMetrics : un objet IcebergOrphanFileDeletionMetrics.

  Structure contenant les métriques de suppression des fichiers orphelins Iceberg pour l’exécution de l’optimiseur.

Champs

• DpuHours – Nombre (double).

  Nombre d'heures DPU consommées par la tâche.

• NumberOfDpus : nombre (entier).

  Nombre de DPU consommés par la tâche, arrondi au nombre entier le plus proche.

• JobDurationInHour – Nombre (double).

  Durée de la tâche en heures.

Champs

• DpuHours – Nombre (double).

  Nombre d'heures DPU consommées par la tâche.

• NumberOfDpus : nombre (entier).

  Nombre de DPU consommés par la tâche, arrondi au nombre entier le plus proche.

• JobDurationInHour – Nombre (double).

  Durée de la tâche en heures.

Champs

• DpuHours – Nombre (double).

  Nombre d'heures DPU consommées par la tâche.

• NumberOfDpus : nombre (entier).

  Nombre de DPU consommés par la tâche, arrondi au nombre entier le plus proche.

• JobDurationInHour – Nombre (double).

  Durée de la tâche en heures.

Champs

• NumberOfBytesCompacted – Chaîne UTF-8.

  Nombre d'octets supprimés lors de l'exécution de la tâche de compactage.

• NumberOfFilesCompacted – Chaîne UTF-8.

  Nombre de fichiers supprimés lors de l'exécution de la tâche de compactage.

• NumberOfDpus – Chaîne UTF-8.

  Nombre de DPU consommés par la tâche, arrondi au nombre entier le plus proche.

• JobDurationInHour – Chaîne UTF-8.

  Durée de la tâche en heures.

• Action GetTableOptimizer (Python : get_table_optimizer)

• Action BatchGetTableOptimizer (Python : batch_get_table_optimizer)

• Action ListTableOptimizerRuns (Python : list_table_optimizer_runs)

• Action CreateTableOptimizer (Python : create_table_optimizer)

• Action DeleteTableOptimizer (Python : delete_table_optimizer)

• Action UpdateTableOptimizer (Python : update_table_optimizer)

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• Type – Obligatoire : Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

Réponse

• CatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• TableOptimizer – Un objet TableOptimizer.

  L'optimiseur associé à la table spécifiée.

Erreurs

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Demande

• Entries – Obligatoire : un tableau d’objets BatchGetTableOptimizerEntry.

  Liste d'objets BatchGetTableOptimizerEntry spécifiant les optimiseurs de table à récupérer.

Réponse

• TableOptimizers : un tableau d’objets BatchTableOptimizer.

  Liste d’objets BatchTableOptimizer.

• Failures : un tableau d’objets BatchGetTableOptimizerError.

  Liste des erreurs liées à l'opération.

Erreurs

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• Type – Obligatoire : Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

• MaxResults : nombre (entier).

  Nombre maximal d'exécutions d'optimisation à renvoyer à chaque appel.

• NextToken – Chaîne UTF-8.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• CatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• NextToken – Chaîne UTF-8.

  Jeton de continuation pour la pagination de la liste renvoyée des exécutions de l'optimiseur, renvoyé si le segment actuel de la liste n'est pas le dernier.

• TableOptimizerRuns : un tableau d’objets TableOptimizerRun.

  Une liste des exécutions d'optimiseur associées à une table.

Erreurs

• EntityNotFoundException

• AccessDeniedException

• InvalidInputException

• ValidationException

• InternalServiceException

• ThrottlingException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• Type – Obligatoire : Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

• TableOptimizerConfiguration – Obligatoire : un objet TableOptimizerConfiguration.

  Un objet TableOptimizerConfiguration représentant la configuration d'un optimiseur de table.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• ValidationException

• InvalidInputException

• AccessDeniedException

• AlreadyExistsException

• InternalServiceException

• ThrottlingException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• Type – Obligatoire : Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L'ID de catalogue de la table.

• DatabaseName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la base de données du catalogue où se trouve la table.

• TableName – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la table.

• Type – Obligatoire : Chaîne UTF-8 (valeurs valides : compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION").

  Le type d'optimiseur de table.

• TableOptimizerConfiguration – Obligatoire : un objet TableOptimizerConfiguration.

  Un objet TableOptimizerConfiguration représentant la configuration d'un optimiseur de table.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• ValidationException

• InternalServiceException

• ThrottlingException

• ConcurrentModificationException