API de points de terminaison de développement

• DevEndpoint structure

• DevEndpointCustomLibraries structure

Champs

• EndpointName – Chaîne UTF-8.

  Le nom de l'DevEndpoint.

• RoleArn – Chaîne UTF-8, correspondant au AWS IAM ARN string pattern.

  Amazon Resource Name (ARN) du rôle IAM utilisé dans ce DevEndpoint.

• SecurityGroupIds – Tableau de chaînes UTF-8.

  Liste d'identifiants de groupe de sécurité utilisés dans ce DevEndpoint.

• SubnetId – Chaîne UTF-8.

  ID de sous-réseau pour ce DevEndpoint.

• YarnEndpointAddress – Chaîne UTF-8.

  Adresse du point de terminaison YARN utilisée par ce DevEndpoint.

• PrivateAddress – Chaîne UTF-8.

  Adresse IP privée pour accéder au DevEndpoint au sein d'un VPC si le DevEndpoint est créé dans celui-ci. Le champ PrivateAddress est présent uniquement lorsque vous créez le DevEndpoint au sein de votre VPC.

• ZeppelinRemoteSparkInterpreterPort : nombre (entier).

  Port Apache Zeppelin pour l'interpréteur Apache Spark à distance.

• PublicAddress – Chaîne UTF-8.

  Adresse IP publique utilisée par ce DevEndpoint. Le champ PublicAddress est présent uniquement lorsque vous créez un DevEndpoint de cloud privé non virtuel.

• Status – Chaîne UTF-8.

  Statut actuel de ce DevEndpoint.

• WorkerType – Chaîne UTF-8 (valeurs valides: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. Accepte la valeur Standard, G.1X ou G.2X.

  • Pour le type de travail Standard, chaque travail fournit 4 vCPU, 16 Go de mémoire et 50 Go de disque, ainsi que 2 exécuteurs par travail.

  • Pour le type de travail G.1X, chaque travail mappe vers 1 DPU (4 vCPU, 16 Go de mémoire et 64 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d'employé pour les tâches utilisant beaucoup de mémoire.

  • Pour le type de travail G.2X, chaque travail mappe vers 2 DPU (8 vCPU, 32 Go de mémoire et 128 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d'employé pour les tâches utilisant beaucoup de mémoire.

  Problème connu : lorsqu'un point de terminaison de développement est créé avec la configuration G.2X WorkerType, les pilotes Spark pour le point de terminaison de développement s'exécutent sur 4 vCPU, 16 Go de mémoire et un disque de 64 Go.

• GlueVersion – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Custom string pattern #48.

  La version de Glue détermine les versions d'Apache Spark et Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la version de Glue dans le guide du développeur.

  Les points de terminaison de développement créés sans spécifier de version de Glue sont par défaut Glue 0.9.

  Vous pouvez spécifier une version du support Python pour les points de terminaison de développement en utilisant le Arguments paramètre dans le CreateDevEndpoint ou UpdateDevEndpoint APIs. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

  Le nombre maximal de travaux que vous pouvez définir est de 299 pour G.1X et de 149 pour G.2X.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPUs) allouées à celaDevEndpoint.

• AvailabilityZone – Chaîne UTF-8.

  La zone de AWS disponibilité dans laquelle DevEndpoint il se trouve.

• VpcId – Chaîne UTF-8.

  ID du cloud privé virtuel (VPC) utilisé par ce DevEndpoint.

• ExtraPythonLibsS3Path – Chaîne UTF-8.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon S3 qui doit être chargé dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont actuellement pas prises en charge.

• ExtraJarsS3Path – Chaîne UTF-8.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

  Note

  Vous ne pouvez utiliser que des Java/Scala bibliothèques pures avec unDevEndpoint.

• FailureReason – Chaîne UTF-8.

  Raison d'un échec actuel dans ce DevEndpoint.

• LastUpdateStatus – Chaîne UTF-8.

  Statut de la dernière mise à jour.

• CreatedTimestamp – Horodatage.

  Le moment où cela DevEndpoint a été créé.

• LastModifiedTimestamp – Horodatage.

  Moment auquel ce DevEndpoint a été modifié pour la dernière fois.

• PublicKey – Chaîne UTF-8.

  Clé publique à utiliser par ce DevEndpoint pour l'authentification. Cet attribut est fourni à des fins de rétrocompatibilité, car l'attribut dont l'utilisation est recommandée sont les clés publiques.

• PublicKeys – Tableau de chaînes UTF-8, avec 5 chaînes maximum.

  Liste de clés publiques à utiliser par le DevEndpoints pour authentification. L'utilisation de cet attribut est plus recommandé qu'une simple clé publique, car les clés publiques vous permettent d'avoir une clé privée différente pour chaque client.

  Note

  Si vous avez déjà créé un point de terminaison avec une clé publique, vous devez supprimer cette clé pour être en mesure de définir une liste de clés publiques. Appelez l'opération d'API UpdateDevEndpoint avec le contenu de la clé publique dans l'attribut deletePublicKeys et la liste des nouvelles clés dans l'attribut addPublicKeys.

• SecurityConfiguration – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la structure SecurityConfiguration à utiliser avec ce DevEndpoint.

• Arguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque clé est une chaîne UTF-8.

  Chaque valeur est une chaîne UTF-8.

  Mappage des arguments utilisés pour configurer le DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version du support Python pour les points de terminaison de développement en utilisant le Arguments paramètre dans le CreateDevEndpoint ou UpdateDevEndpoint APIs. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Champs

• ExtraPythonLibsS3Path – Chaîne UTF-8.

  Chemins d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon Simple Storage Service (Amazon S3) qui doivent être chargées dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont actuellement pas prises en charge.

• ExtraJarsS3Path – Chaîne UTF-8.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

  Note

  Vous ne pouvez utiliser que des Java/Scala bibliothèques pures avec unDevEndpoint.

• CreateDevEndpoint action (Python : create_dev_endpoint)

• UpdateDevEndpoint action (Python : update_dev_endpoint)

• DeleteDevEndpoint action (Python : delete_dev_endpoint)

• GetDevEndpoint action (Python : get_dev_endpoint)

• GetDevEndpoints action (Python : get_dev_endpoints)

• BatchGetDevEndpoints action (Python : batch_get_dev_endpoints)

• ListDevEndpoints action (Python : list_dev_endpoints)

Demande

• EndpointName – Obligatoire : chaîne UTF-8.

  Nom à affecter au nouveau DevEndpoint.

• RoleArn – Obligatoire : Chaîne UTF-8, correspondant au AWS IAM ARN string pattern.

  Rôle IAM pour le DevEndpoint.

• SecurityGroupIds – Tableau de chaînes UTF-8.

  Groupe de sécurité IDs pour les groupes de sécurité à utiliser par le nouveauDevEndpoint.

• SubnetId – Chaîne UTF-8.

  ID de sous-réseau pour le nouveau DevEndpoint à utiliser.

• PublicKey – Chaîne UTF-8.

  Clé publique à utiliser par ce DevEndpoint pour l'authentification. Cet attribut est fourni à des fins de rétrocompatibilité, car l'attribut dont l'utilisation est recommandée sont les clés publiques.

• PublicKeys – Tableau de chaînes UTF-8, avec 5 chaînes maximum.

  Liste de clés publiques à utiliser par les points de terminaison de développement pour authentification. L'utilisation de cet attribut est plus recommandé qu'une simple clé publique, car les clés publiques vous permettent d'avoir une clé privée différente pour chaque client.

  Note

  Si vous avez déjà créé un point de terminaison avec une clé publique, vous devez supprimer cette clé pour être en mesure de définir une liste de clés publiques. Appelez l'API UpdateDevEndpoint avec le contenu de la clé publique dans l'attribut deletePublicKeys et la liste des nouvelles clés dans l'attribut addPublicKeys.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPUs) à y affecterDevEndpoint.

• WorkerType – Chaîne UTF-8 (valeurs valides: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. Accepte la valeur Standard, G.1X ou G.2X.

  • Pour le type de travail Standard, chaque travail fournit 4 vCPU, 16 Go de mémoire et 50 Go de disque, ainsi que 2 exécuteurs par travail.

  • Pour le type de travail G.1X, chaque travail mappe vers 1 DPU (4 vCPU, 16 Go de mémoire et 64 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d'employé pour les tâches utilisant beaucoup de mémoire.

  • Pour le type de travail G.2X, chaque travail mappe vers 2 DPU (8 vCPU, 32 Go de mémoire et 128 Go de disque), et fournit 1 exécuteur par travail. Nous vous recommandons ce type d'employé pour les tâches utilisant beaucoup de mémoire.

  Problème connu : lorsqu'un point de terminaison de développement est créé avec la configuration G.2X WorkerType, les pilotes Spark pour le point de terminaison de développement s'exécutent sur 4 vCPU, 16 Go de mémoire et un disque de 64 Go.

• GlueVersion – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Custom string pattern #48.

  La version de Glue détermine les versions d'Apache Spark et Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la version de Glue dans le guide du développeur.

  Les points de terminaison de développement créés sans spécifier de version de Glue sont par défaut Glue 0.9.

  Vous pouvez spécifier une version du support Python pour les points de terminaison de développement en utilisant le Arguments paramètre dans le CreateDevEndpoint ou UpdateDevEndpoint APIs. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

  Le nombre maximal de travaux que vous pouvez définir est de 299 pour G.1X et de 149 pour G.2X.

• ExtraPythonLibsS3Path – Chaîne UTF-8.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment Amazon S3 qui doit être chargé dans votre DevEndpoint. Plusieurs valeurs doivent être des chemins entiers séparés par une virgule.

  Note

  Vous pouvez uniquement utiliser des bibliothèques Python pur avec un DevEndpoint. Les bibliothèques reposant sur des extensions C, par exemple la bibliothèque d'analyse des données Python pandas, ne sont pas encore prises en charge.

• ExtraJarsS3Path – Chaîne UTF-8.

  Chemin d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui doit être chargé dans votre DevEndpoint.

• SecurityConfiguration – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la structure SecurityConfiguration à utiliser avec ce DevEndpoint.

• Tags – tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une chaîne UTF-8, d’une longueur comprise entre 1 et 128 octets.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 256 octets.

  Balises à utiliser avec ce DevEndpoint. Vous pouvez utiliser des balises pour limiter l'accès au DevEndpoint. Pour plus d'informations sur les tags in AWS Glue, voir AWS Tags in AWS Glue dans le guide du développeur.

• Arguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque clé est une chaîne UTF-8.

  Chaque valeur est une chaîne UTF-8.

  Mappage des arguments utilisés pour configurer le DevEndpoint.

Réponse

• EndpointName – Chaîne UTF-8.

  Nom attribué au nouveau DevEndpoint.

• Status – Chaîne UTF-8.

  Statut actuel du nouveau DevEndpoint.

• SecurityGroupIds – Tableau de chaînes UTF-8.

  Groupes de sécurité affectés au nouveau DevEndpoint.

• SubnetId – Chaîne UTF-8.

  ID de sous-réseau affecté au nouveau DevEndpoint.

• RoleArn – Chaîne UTF-8, correspondant au AWS IAM ARN string pattern.

  Amazon Resource Name (ARN) du rôle affecté au nouveau DevEndpoint.

• YarnEndpointAddress – Chaîne UTF-8.

  Adresse du point de terminaison YARN utilisé par ce DevEndpoint.

• ZeppelinRemoteSparkInterpreterPort : nombre (entier).

  Port Apache Zeppelin pour l'interpréteur Apache Spark à distance.

• NumberOfNodes : nombre (entier).

  Le nombre d'unités de traitement des AWS Glue données (DPUs) allouées à cela DevEndpoint.

• WorkerType – Chaîne UTF-8 (valeurs valides: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Type de travail prédéfini qui est alloué au point de terminaison de développement. La valeur peut être Standard, G.1X ou G.2X.

• GlueVersion – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Custom string pattern #48.

  La version de Glue détermine les versions d'Apache Spark et Python prises AWS Glue en charge. La version Python indique la version prise en charge pour l'exécution de vos scripts ETL sur les points de terminaison de développement.

  Pour plus d'informations sur les AWS Glue versions disponibles et les versions correspondantes de Spark et Python, consultez la version de Glue dans le guide du développeur.

• NumberOfWorkers : nombre (entier).

  Nombre de travaux d'un workerType défini qui sont alloués au point de terminaison de développement.

• AvailabilityZone – Chaîne UTF-8.

  La zone de AWS disponibilité dans laquelle DevEndpoint il se trouve.

• VpcId – Chaîne UTF-8.

  ID du cloud privé virtuel (VPC) utilisé par ce DevEndpoint.

• ExtraPythonLibsS3Path – Chaîne UTF-8.

  Chemin(s) d'accès à une ou plusieurs bibliothèques Python dans un compartiment S3 qui sera chargé dans votre DevEndpoint.

• ExtraJarsS3Path – Chaîne UTF-8.

  Chemi(s)n d'accès à un ou plusieurs fichiers Java .jar dans un compartiment S3 qui sera chargé dans votre DevEndpoint.

• FailureReason – Chaîne UTF-8.

  Raison d'un échec actuel dans ce DevEndpoint.

• SecurityConfiguration – Chaîne UTF-8, d’une longueur comprise entre 1 et 255 octets, correspondant au Single-line string pattern.

  Nom de la structure SecurityConfiguration utilisée avec ce DevEndpoint.

• CreatedTimestamp – Horodatage.

  Moment où ce DevEndpoint a été créé.

• Arguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque clé est une chaîne UTF-8.

  Chaque valeur est une chaîne UTF-8.

  Mappage des arguments utilisés pour configurer ce DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version du support Python pour les points de terminaison de développement en utilisant le Arguments paramètre dans le CreateDevEndpoint ou UpdateDevEndpoint APIs. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Erreurs

• AccessDeniedException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

Demande

• EndpointName – Obligatoire : chaîne UTF-8.

  Nom du DevEndpoint à mettre à jour.

• PublicKey – Chaîne UTF-8.

  Clé publique pour le DevEndpoint à utiliser.

• AddPublicKeys – Tableau de chaînes UTF-8, avec 5 chaînes maximum.

  Liste des clés publiques pour le DevEndpoint à utiliser.

• DeletePublicKeys – Tableau de chaînes UTF-8, avec 5 chaînes maximum.

  Liste de clés publiques à supprimer du DevEndpoint.

• CustomLibraries – Un objet DevEndpointCustomLibraries.

  Bibliothèques Python ou Java personnalisées à charger dans le DevEndpoint.

• UpdateEtlLibraries : booléen.

  True si la liste des bibliothèques personnalisées à charger dans le point de terminaison de développement doit être mise à jour, sinon False.

• DeleteArguments – Tableau de chaînes UTF-8.

  Liste des clés d'argument à supprimer du mappage d'arguments utilisé pour configurer le DevEndpoint.

• AddArguments – tableau de mappage de paires clé-valeur, avec 100 paires au maximum.

  Chaque clé est une chaîne UTF-8.

  Chaque valeur est une chaîne UTF-8.

  Mappage d'arguments à ajouter au mappage d'arguments utilisé pour configurer le DevEndpoint.

  Les arguments valides sont les suivants :

  • "--enable-glue-datacatalog": ""

  Vous pouvez spécifier une version du support Python pour les points de terminaison de développement en utilisant le Arguments paramètre dans le CreateDevEndpoint ou UpdateDevEndpoint APIs. Si aucun argument n'est fourni, la version utilisée par défaut est Python 2.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

Demande

• EndpointName – Obligatoire : chaîne UTF-8.

  Le nom de l'DevEndpoint.

Réponse

• Paramètres d’absence de réponse.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• EndpointName – Obligatoire : chaîne UTF-8.

  Nom du DevEndpoint pour lequel des informations seront récupérées.

Réponse

• DevEndpoint – Un objet DevEndpoint.

  Définition d'un DevEndpoint.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  Taille maximale des informations à renvoyer.

• NextToken – Chaîne UTF-8.

  Jeton de continuation, s’il s’agit d’un appel de continuation.

Réponse

• DevEndpoints : un tableau d’objets DevEndpoint.

  Liste des définitions de DevEndpoint.

• NextToken – Chaîne UTF-8.

  Jeton de continuation, si toutes les définitions de DevEndpoint n'ont pas encore été renvoyées.

Erreurs

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• customerAccountId – Chaîne UTF-8.

  L'identifiant AWS du compte.

• DevEndpointNames – Obligatoire : Tableau de chaînes UTF-8, avec 1 chaîne minimum et 25 chaînes maximum.

  Liste de noms de DevEndpoint, qui peuvent être les noms renvoyés à partir de l'opération ListDevEndpoint.

Réponse

• DevEndpoints : un tableau d’objets DevEndpoint.

  Liste des définitions de DevEndpoint.

• DevEndpointsNotFound – tableau de chaînes UTF-8, avec 1 chaîne minimum et 25 chaînes maximum.

  Liste des DevEndpoints introuvables.

Erreurs

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Demande

• NextToken – Chaîne UTF-8.

  Jeton de continuation, s’il s’agit d’une requête de continuation.

• MaxResults – Nombre (entier), compris entre 1 et 1 000.

  La taille maximale d’une liste à renvoyer.

• Tags – tableau de mappage de paires clé-valeur, avec 50 paires au maximum.

  Chaque clé est une chaîne UTF-8, d’une longueur comprise entre 1 et 128 octets.

  Chaque valeur est une chaîne UTF-8, d’une longueur maximale de 256 octets.

  Spécifie de renvoyer uniquement les ressources balisées.

Réponse

• DevEndpointNames – Tableau de chaînes UTF-8.

  Noms de tous les DevEndpoint dans le compte ou les DevEndpoint avec les balises spécifiées.

• NextToken – Chaîne UTF-8.

  Jeton continuation, si la liste renvoyée ne contient pas la dernière métrique disponible.

Erreurs

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException