API de catalogues

• Structure du catalogue

• CatalogInput structure

• TargetRedshiftCatalog structure

• CatalogProperties structure

• CatalogPropertiesOutput structure

• DataLakeAccessProperties structure

• IcebergOptimizationProperties structure

• DataLakeAccessPropertiesOutput structure

• IcebergOptimizationPropertiesOutput structure

• FederatedCatalog structure

Champs

• CatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue. Pour autoriser l’accès au catalogue par défaut, ce champ ne doit pas être fourni.

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 64 octets, correspondant àCustom string pattern #30.

  Le nom du catalogue. Il ne peut pas être identique à l’identifiant du compte.

• ResourceArn— UTF-8 ficelle.

  Amazon Resource Name (ARN) affecté à la ressource du catalogue.

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au modèle de chaîne à plusieurs lignes d’adresse URI. Une description du catalogue de données.

• Parameters – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Un tableau de mappage de paires clé-valeur qui définissent les paramètres et les propriétés du catalogue.

• CreateTime – Horodatage.

  Heure à laquelle le catalogue a été créé.

• UpdateTime – Horodatage.

  Heure de dernière mise à jour du catalogue.

• TargetRedshiftCatalog – Un objet TargetRedshiftCatalog.

  Objet TargetRedshiftCatalog qui décrit un catalogue cible pour la liaison de ressources de la base de données.

• FederatedCatalog – Un objet FederatedCatalog.

  FederatedCatalogObjet qui pointe vers une entité extérieure au catalogue AWS Glue de données.

• CatalogProperties – Un objet CatalogPropertiesOutput.

  Objet CatalogProperties qui spécifie les propriétés d’accès au lac de données et d’autres propriétés personnalisées.

• CreateTableDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les table(s) pour les principaux. Utilisé par AWS Lake Formation. Non utilisé dans le cours normal des AWS Glue opérations.

• CreateDatabaseDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les base(s) de données pour les principaux. Utilisé par AWS Lake Formation. Non utilisé dans le cours normal des AWS Glue opérations.

• AllowFullTableExternalDataAccess— UTF-8 chaîne (valeurs valides : True |False).

  Permet à des moteurs tiers d'accéder aux données Amazon S3 des emplacements enregistrés auprès de Lake Formation.

Champs

• Description – Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au URI address multi-line string pattern.

  Chaîne de description, d’une longueur maximale de 2 048 octets, correspondant au modèle de chaîne à plusieurs lignes d’adresse URI. Une description du catalogue de données.

• FederatedCatalog – Un objet FederatedCatalog.

  Un objet FederatedCatalog. FederatedCatalogStructure qui fait référence à une entité extérieure au catalogue de AWS Glue données, par exemple une base de données Redshift.

• Parameters – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Un tableau de mappage de paires clé-valeur qui définissent les paramètres et les propriétés du catalogue.

• TargetRedshiftCatalog – Un objet TargetRedshiftCatalog.

  Objet TargetRedshiftCatalog qui décrit un catalogue cible pour la liaison de ressources.

• CatalogProperties – Un objet CatalogProperties.

  Objet CatalogProperties qui spécifie les propriétés d’accès au lac de données et d’autres propriétés personnalisées.

• CreateTableDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les table(s) pour les principaux. Utilisé par AWS Lake Formation. Il doit généralement être défini explicitement sous forme de liste vide.

• CreateDatabaseDefaultPermissions : un tableau d’objets PrincipalPermissions.

  Tableau d’objets PrincipalPermissions. Crée un ensemble d’autorisations par défaut sur la/les base(s) de données pour les principaux. Utilisé par AWS Lake Formation. Il doit généralement être défini explicitement sous forme de liste vide.

• AllowFullTableExternalDataAccess— UTF-8 chaîne (valeurs valides : True |False).

  Permet à des moteurs tiers d'accéder aux données Amazon S3 des emplacements enregistrés auprès de Lake Formation.

• OverwriteChildResourcePermissionsWithDefault— UTF-8 chaîne (valeurs valides : Accept |Deny).

  Remplace les AWS Lake Formation autorisations existantes par CatalogInput$CreateTableDefaultPermissions et CatalogInput$CreateDatabaseDefaultPermissions pour toutes les ressources enfants.

Champs

• CatalogArn— Obligatoire : UTF-8 chaîne.

  Amazon Resource Name (ARN) de la ressource de catalogue.

Champs

• DataLakeAccessProperties – Un objet DataLakeAccessProperties.

  DataLakeAccessPropertiesObjet qui spécifie les propriétés permettant de configurer l'accès au lac de données pour les ressources de votre catalogue dans le catalogue de AWS Glue données.

• IcebergOptimizationProperties : un objet IcebergOptimizationProperties.

  Structure qui spécifie les propriétés d’optimisation de table Iceberg pour le catalogue. Cela inclut la configuration des opérations de compactage, de conservation et de suppression de fichiers orphelins qui peuvent être appliquées aux tables Iceberg de ce catalogue.

• CustomProperties – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Propriétés clé-valeur supplémentaires pour le catalogue, telles que les optimisations des statistiques de colonne.

Champs

• DataLakeAccessProperties – Un objet DataLakeAccessPropertiesOutput.

  DataLakeAccessPropertiesObjet doté de propriétés d'entrée permettant de configurer l'accès au lac de données pour la ressource de votre catalogue dans le catalogue de AWS Glue données.

• IcebergOptimizationProperties : un objet IcebergOptimizationPropertiesOutput.

  Objet IcebergOptimizationPropertiesOutput qui spécifie les paramètres d’optimisation des tables Iceberg pour le catalogue, notamment les configurations pour les opérations de compactage, de conservation et de suppression de fichiers orphelins.

• CustomProperties – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Propriétés clé-valeur supplémentaires pour le catalogue, telles que les optimisations des statistiques de colonne.

Champs

• DataLakeAccess : booléen.

  Active ou désactive l'accès au lac de données pour les applications Apache Spark qui accèdent aux bases de données Amazon Redshift dans le catalogue de données à partir de n'importe quel moteur autre que Redshift, tel qu'Amazon Athena, Amazon EMR ou ETL. AWS Glue

• DataTransferRole— UTF-8 chaîne, correspondant àCustom string pattern #50.

  Rôle qui sera assumé par le transfert AWS Glue des données into/out du bucket intermédiaire lors d'une requête.

• KmsKey— UTF-8 ficelle.

  Clé de chiffrement qui sera utilisée pour le compartiment intermédiaire qui sera créé avec le catalogue.

• CatalogType— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Spécifie un type de catalogue fédéré pour la ressource de catalogue native. Le type aws:redshift est actuellement pris en charge.

Champs

• RoleArn— UTF-8 chaîne, correspondant àCustom string pattern #50.

  Amazon Resource Name (ARN) du rôle IAM qui sera endossé pour effectuer les opérations d’optimisation des tables Iceberg.

• Compaction – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de compactage des tables Iceberg, qui optimisent la disposition des fichiers de données afin d’améliorer les performances des requêtes.

• Retention – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de conservation des tables Iceberg, qui gèrent le cycle de vie des instantanés de tables afin de contrôler les coûts de stockage.

• OrphanFileDeletion – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de suppression de fichiers orphelins Iceberg, qui identifient et suppriment les fichiers qui ne sont plus référencés par les métadonnées de table.

Champs

• DataLakeAccess : booléen.

  Active ou désactive l’accès au lac de données pour les applications Apache Spark qui accèdent aux bases de données Amazon Redshift dans le catalogue de données.

• DataTransferRole— UTF-8 chaîne, correspondant àCustom string pattern #50.

  Rôle qui sera assumé par le transfert AWS Glue des données into/out du bucket intermédiaire lors d'une requête.

• KmsKey— UTF-8 ficelle.

  Clé de chiffrement qui sera utilisée pour le compartiment intermédiaire qui sera créé avec le catalogue.

• ManagedWorkgroupName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom du calcul Redshift sans serveur géré qui est créé pour votre ressource de catalogue.

• ManagedWorkgroupStatus— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  État du calcul Redshift sans serveur géré.

• RedshiftDatabaseName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Nom de la ressource de base de données Redshift par défaut dans le calcul géré.

• StatusMessage— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Message qui fournit des informations plus détaillées sur l’état du groupe de travail géré.

• CatalogType— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Spécifie un type de catalogue fédéré pour la ressource de catalogue native. Le type aws:redshift est actuellement pris en charge.

Champs

• RoleArn— UTF-8 chaîne, correspondant àCustom string pattern #50.

  Amazon Resource Name (ARN) du rôle IAM qui est utilisé pour effectuer les opérations d’optimisation des tables Iceberg.

• Compaction – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de compactage des tables Iceberg, qui optimisent la disposition des fichiers de données afin d’améliorer les performances des requêtes.

• Retention – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de conservation des tables Iceberg, qui gèrent le cycle de vie des instantanés de tables afin de contrôler les coûts de stockage.

• OrphanFileDeletion – Tableau de mappage de paires valeur-clé.

  Chaque clé est une chaîne de clé, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Chaque valeur est une UTF-8 chaîne dont la longueur ne dépasse pas 512 000 octets.

  Carte de paires clé-valeur qui spécifient les paramètres de configuration pour les opérations de suppression de fichiers orphelins Iceberg, qui identifient et suppriment les fichiers qui ne sont plus référencés par les métadonnées de table.

• LastUpdatedTime – Horodatage.

  Horodatage de la dernière mise à jour des propriétés d’optimisation Iceberg.

Champs

• Identifier— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 512 octets, correspondant àSingle-line string pattern.

  Identifiant unique pour le catalogue fédéré.

• ConnectionName— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Le nom de la connexion à une source de données externe, par exemple un Redshift-federated catalogue.

• ConnectionType— UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 255 octets, correspondant àSingle-line string pattern.

  Type de connexion utilisé pour accéder au catalogue fédéré, spécifiant le protocole ou la méthode de connexion à la source de données externe.

• CreateCatalog action (Python : create_catalog)

• UpdateCatalog action (Python : update_catalog)

• DeleteCatalog action (Python : delete_catalog)

• GetCatalog action (Python : get_catalog)

• GetCatalogs action (Python : get_catalogs)

Demande

• Name— Obligatoire : UTF-8 chaîne d'une longueur d'au moins 1 ou de plus de 64 octets, correspondant àCustom string pattern #30.

  Nom du catalogue à créer.

• CatalogInput – Obligatoire : un objet CatalogInput.

  Objet CatalogInput qui définit les métadonnées du catalogue.

• Tags – Tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets.

  Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets.

  Tableau de mappage de paires valeur-clé, avec 50 paires au maximum. Chaque clé est une UTF-8 chaîne d'une longueur d'au moins 1 et d'au plus 128 octets. Chaque valeur est une UTF-8 chaîne ne dépassant pas 256 octets. Les balises que vous attribuez au catalogue.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• InvalidInputException

• AlreadyExistsException

• ResourceNumberLimitExceededException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• EntityNotFoundException

• FederatedResourceAlreadyExistsException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue.

• CatalogInput – Obligatoire : un objet CatalogInput.

  Objet CatalogInput spécifiant les nouvelles propriétés d’un catalogue existant.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  L’ID du catalogue.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Demande

• CatalogId – Obligatoire : Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID du catalogue parent dans lequel réside le catalogue. Si aucun numéro n'est fourni, le numéro de AWS compte est utilisé par défaut.

Réponse

• Catalog – Un objet Catalogue.

  Un objet Catalog. Définition du catalogue spécifié dans le catalogue de AWS Glue données.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException

Demande

• ParentCatalogId – Chaîne d’ID de catalogue, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  ID du catalogue parent dans lequel réside le catalogue. Si aucun numéro n'est fourni, le numéro de AWS compte est utilisé par défaut.

• NextToken— UTF-8 ficelle.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Nombre maximum de catalogues renvoyés par réponse.

• Recursive : booléen.

  Indique s’il faut répertorier tous les catalogues de la hiérarchie des catalogues, en commençant par la valeur ParentCatalogId. La valeur par défaut est false . Lorsque true, tous les objets du catalogue de la hiérarchie ParentCatalogID sont énumérés dans la réponse.

• IncludeRoot : booléen.

  Indique s’il faut répertorier le catalogue par défaut dans le compte et la région dans la réponse. La valeur par défaut est false . Quand true et ParentCatalogId = NULL | AWS Account ID, tous les catalogues et le catalogue par défaut sont énumérés dans la réponse.

  Lorsque la valeur ParentCatalogId n’est pas égal à null et que cet attribut est transmis en tant que false ou true, une InvalidInputException est émise.

• HasDatabases : booléen.

  Lorsquetrue, la réponse inclut uniquement des catalogues pouvant contenir des bases de données. Certains catalogues sont des conteneurs organisationnels qui contiennent uniquement d'autres catalogues, pas des bases de données. Lorsque ce paramètre est défini surtrue, les catalogues contenant uniquement des conteneurs sont exclus et seuls les catalogues capables de contenir des bases de données sont renvoyés. La valeur par défaut est false .

Réponse

• CatalogList – Obligatoire : un tableau d’objets Catalogue.

  Tableau d’objets Catalog. Liste d’objets Catalog à partir du catalogue parent spécifié.

• NextToken— UTF-8 ficelle.

  Jeton de continuation pour la pagination de la liste des jetons renvoyés, renvoyé si le segment actuel de la liste n’est pas le dernier.

Erreurs

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException