API de catalogues

• Structure du catalogue

• CatalogInput structure

• TargetRedshiftCatalog structure

• CatalogProperties structure

• CatalogPropertiesOutput structure

• DataLakeAccessProperties structure

• IcebergOptimizationProperties structure

• DataLakeAccessPropertiesOutput structure

• IcebergOptimizationPropertiesOutput structure

• FederatedCatalog structure

Champs

• CatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue. Pour autoriser l’accès au catalogue par défaut, ce champ ne doit pas être fourni.

• Name – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 64 octets, correspondant au Custom string pattern #25.

  Le nom du catalogue. Il ne peut pas être identique à l’identifiant du compte.

• ResourceArn – Chaîne UTF-8.

  Amazon Resource Name (ARN) affecté à la ressource du catalogue.

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au modèle de chaîne à plusieurs lignes d’adresse URI. Une description du catalogue de données.

• Parameters – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Un tableau de mappage de paires clé-valeur qui définissent les paramètres et les propriétés du catalogue.

• CreateTime – Horodatage.

  Heure à laquelle le catalogue a été créé.

• UpdateTime – Horodatage.

  Heure de dernière mise à jour du catalogue.

• TargetRedshiftCatalog – Un objet TargetRedshiftCatalog.

  Objet TargetRedshiftCatalog qui décrit un catalogue cible pour la liaison de ressources de la base de données.

• FederatedCatalog – Un objet FederatedCatalog.

  Un FederatedCatalog objet qui pointe vers une entité en dehors du catalogue de AWS Glue données.

• CatalogProperties – Un objet CatalogPropertiesOutput.

  Objet CatalogProperties qui spécifie les propriétés d’accès au lac de données et d’autres propriétés personnalisées.

• CreateTableDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les table(s) pour les principaux. Utilisé par AWS Lake Formation. Non utilisé dans le cours normal des AWS Glue opérations.

• CreateDatabaseDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les base(s) de données pour les principaux. Utilisé par AWS Lake Formation. Non utilisé dans le cours normal des AWS Glue opérations.

• AllowFullTableExternalDataAccess – Chaîne UTF-8 (valeurs valides : True | False).

  Permet à des moteurs tiers d'accéder aux données Amazon S3 situées dans des emplacements enregistrés auprès de Lake Formation.

Champs

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au modèle de chaîne à plusieurs lignes d’adresse URI. Une description du catalogue de données.

• FederatedCatalog – Un objet FederatedCatalog.

  Un objet FederatedCatalog. FederatedCatalogStructure qui fait référence à une entité extérieure au catalogue de AWS Glue données, par exemple une base de données Redshift.

• Parameters – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Un tableau de mappage de paires clé-valeur qui définissent les paramètres et les propriétés du catalogue.

• TargetRedshiftCatalog – Un objet TargetRedshiftCatalog.

  Objet TargetRedshiftCatalog qui décrit un catalogue cible pour la liaison de ressources.

• CatalogProperties – Un objet CatalogProperties.

  Objet CatalogProperties qui spécifie les propriétés d’accès au lac de données et d’autres propriétés personnalisées.

• CreateTableDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les table(s) pour les principaux. Utilisé par AWS Lake Formation. Il doit généralement être défini explicitement sous forme de liste vide.

• CreateDatabaseDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les base(s) de données pour les principaux. Utilisé par AWS Lake Formation. Il doit généralement être défini explicitement sous forme de liste vide.

• AllowFullTableExternalDataAccess – Chaîne UTF-8 (valeurs valides : True | False).

  Permet à des moteurs tiers d'accéder aux données Amazon S3 situées dans des emplacements enregistrés auprès de Lake Formation.

Champs

• CatalogArn – Obligatoire : chaîne UTF-8.

  Amazon Resource Name (ARN) de la ressource de catalogue.

Champs

• DataLakeAccessProperties – Un objet DataLakeAccessProperties.

  DataLakeAccessPropertiesObjet qui spécifie les propriétés permettant de configurer l'accès au lac de données pour la ressource de votre catalogue dans le catalogue de AWS Glue données.

• IcebergOptimizationProperties : un objet IcebergOptimizationProperties.

  Structure qui spécifie les propriétés d’optimisation de table Iceberg pour le catalogue. Cela inclut la configuration des opérations de compactage, de conservation et de suppression de fichiers orphelins qui peuvent être appliquées aux tables Iceberg de ce catalogue.

• CustomProperties – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Propriétés clé-valeur supplémentaires pour le catalogue, telles que les optimisations des statistiques de colonne.

Champs

• DataLakeAccessProperties – Un objet DataLakeAccessPropertiesOutput.

  DataLakeAccessPropertiesObjet doté de propriétés d'entrée permettant de configurer l'accès au lac de données pour les ressources de votre catalogue dans le catalogue de AWS Glue données.

• IcebergOptimizationProperties : un objet IcebergOptimizationPropertiesOutput.

  Objet IcebergOptimizationPropertiesOutput qui spécifie les paramètres d’optimisation des tables Iceberg pour le catalogue, notamment les configurations pour les opérations de compactage, de conservation et de suppression de fichiers orphelins.

• CustomProperties – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Propriétés clé-valeur supplémentaires pour le catalogue, telles que les optimisations des statistiques de colonne.

Champs

• DataLakeAccess : booléen.

  Active ou désactive l'accès aux lacs de données pour les applications Apache Spark qui accèdent aux bases de données Amazon Redshift dans le catalogue de données à partir d'un moteur autre que Redshift, tel qu'Amazon Athena, Amazon EMR ou ETL. AWS Glue

• DataTransferRole – Chaîne UTF-8, correspondant au Custom string pattern #53.

  Rôle qui sera assumé par le transfert AWS Glue des données into/out du bucket intermédiaire lors d'une requête.

• KmsKey – Chaîne UTF-8.

  Clé de chiffrement qui sera utilisée pour le compartiment intermédiaire qui sera créé avec le catalogue.

• CatalogType – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Spécifie un type de catalogue fédéré pour la ressource de catalogue native. Le type aws:redshift est actuellement pris en charge.

Champs

• RoleArn – Chaîne UTF-8, correspondant au Custom string pattern #53.

  Amazon Resource Name (ARN) du rôle IAM qui sera endossé pour effectuer les opérations d’optimisation des tables Iceberg.

• Compaction – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de compactage des tables Iceberg, qui optimisent la disposition des fichiers de données afin d’améliorer les performances des requêtes.

• Retention – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de conservation des tables Iceberg, qui gèrent le cycle de vie des instantanés de tables afin de contrôler les coûts de stockage.

• OrphanFileDeletion – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de suppression de fichiers orphelins Iceberg, qui identifient et suppriment les fichiers qui ne sont plus référencés par les métadonnées de table.

Champs

• DataLakeAccess : booléen.

  Active ou désactive l’accès au lac de données pour les applications Apache Spark qui accèdent aux bases de données Amazon Redshift dans le catalogue de données.

• DataTransferRole – Chaîne UTF-8, correspondant au Custom string pattern #53.

  Rôle qui sera assumé par le transfert AWS Glue des données into/out du bucket intermédiaire lors d'une requête.

• KmsKey – Chaîne UTF-8.

  Clé de chiffrement qui sera utilisée pour le compartiment intermédiaire qui sera créé avec le catalogue.

• ManagedWorkgroupName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom du calcul Redshift sans serveur géré qui est créé pour votre ressource de catalogue.

• ManagedWorkgroupStatus – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  État du calcul Redshift sans serveur géré.

• RedshiftDatabaseName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la ressource de base de données Redshift par défaut dans le calcul géré.

• StatusMessage – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Message qui fournit des informations plus détaillées sur l’état du groupe de travail géré.

• CatalogType – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Spécifie un type de catalogue fédéré pour la ressource de catalogue native. Le type aws:redshift est actuellement pris en charge.

Champs

• RoleArn – Chaîne UTF-8, correspondant au Custom string pattern #53.

  Amazon Resource Name (ARN) du rôle IAM qui est utilisé pour effectuer les opérations d’optimisation des tables Iceberg.

• Compaction – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de compactage des tables Iceberg, qui optimisent la disposition des fichiers de données afin d’améliorer les performances des requêtes.

• Retention – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de conservation des tables Iceberg, qui gèrent le cycle de vie des instantanés de tables afin de contrôler les coûts de stockage.

• OrphanFileDeletion – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de suppression de fichiers orphelins Iceberg, qui identifient et suppriment les fichiers qui ne sont plus référencés par les métadonnées de table.

• LastUpdatedTime – Horodatage.

  Horodatage de la dernière mise à jour des propriétés d’optimisation Iceberg.

Champs

• Identifier – Chaîne UTF-8, d’une longueur comprise entre 1 et 512 octets, correspondant au Single-line string pattern.

  Identifiant unique pour le catalogue fédéré.

• ConnectionName – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la connexion à une source de données externe, par exemple un catalogue fédéré par Redshift.

• ConnectionType – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Type de connexion utilisé pour accéder au catalogue fédéré, spécifiant le protocole ou la méthode de connexion à la source de données externe.

• CreateCatalog action (Python : create_catalog)

• UpdateCatalog action (Python : update_catalog)

• DeleteCatalog action (Python : supprimer_catalogue)

• GetCatalog action (Python : get_catalog)

• GetCatalogs action (Python : get_catalogs)

Demande

• Name – Obligatoire : Chaîne UTF-8, d’une longueur comprise entre 1 et 64 octets, correspondant au Custom string pattern #25.

  Nom du catalogue à créer.

• CatalogInput – Obligatoire : un objet CatalogInput.

  Objet CatalogInput qui définit les métadonnées du catalogue.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une chaîne UTF-8, d’une longueur comprise entre 1 et 128 octets.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 256 octets.

  Tableau de mappage de paires valeur-clé, avec 50 paires au maximum. Chaque clé est une chaîne UTF-8, d’une longueur comprise entre 1 et 128 octets. Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 256 octets. Les balises que vous attribuez au catalogue.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• AlreadyExistsException

• ResourceNumberLimitExceededException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• EntityNotFoundException

• FederatedResourceAlreadyExistsException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue.

• CatalogInput – Obligatoire : un objet CatalogInput.

  Objet CatalogInput spécifiant les nouvelles propriétés d’un catalogue existant.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID du catalogue parent dans lequel réside le catalogue. Si aucun numéro n'est fourni, le numéro de AWS compte est utilisé par défaut.

Réponse

• Catalog – Un objet Catalogue.

  Un objet Catalog. Définition du catalogue spécifié dans le catalogue de AWS Glue données.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException

Demande

• ParentCatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID du catalogue parent dans lequel réside le catalogue. Si aucun numéro n'est fourni, le numéro de AWS compte est utilisé par défaut.

• NextToken – Chaîne UTF-8.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre maximum de catalogues renvoyés par réponse.

• Recursive : booléen.

  Indique s’il faut répertorier tous les catalogues de la hiérarchie des catalogues, en commençant par la valeur ParentCatalogId. La valeur par défaut est false . Lorsque true, tous les objets du catalogue de la hiérarchie ParentCatalogID sont énumérés dans la réponse.

• IncludeRoot : booléen.

  Indique s’il faut répertorier le catalogue par défaut dans le compte et la région dans la réponse. La valeur par défaut est false . Quand true et ParentCatalogId = NULL | AWS Account ID, tous les catalogues et le catalogue par défaut sont énumérés dans la réponse.

  Lorsque la valeur ParentCatalogId n’est pas égal à null et que cet attribut est transmis en tant que false ou true, une InvalidInputException est émise.

Réponse

• CatalogList – Obligatoire : un tableau d’objets Catalogue.

  Tableau d’objets Catalog. Liste d’objets Catalog à partir du catalogue parent spécifié.

• NextToken – Chaîne UTF-8.

  Jeton de continuation pour la pagination de la liste des jetons renvoyés, renvoyé si le segment actuel de la liste n’est pas le dernier.

Erreurs

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException