Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Utilisation de connecteurs personnalisés et de connexions avec AWS Glue Studio
AWS Glue fournit une prise en charge intégrée des magasins de données les plus couramment utilisés (tels que Amazon Redshift, Amazon Aurora, Microsoft SQL Server, MySQL, MongoDB et PostgreSQL) à l'aide de connexions JDBC. AWS Glue vous permet également d'utiliser des pilotes JDBC personnalisés dans vos tâches Extract-transform-load (ETL). Pour les magasins de données qui ne sont pas pris en charge en mode natif, comme les applications SaaS, vous pouvez utiliser des connecteurs.
Un *connecteur* est un package de code facultatif qui facilite l'accès aux magasins de données dans AWS Glue Studio Glue Studio. Vous pouvez vous abonner à plusieurs connecteurs proposés dans AWS Marketplace.
Lorsque vous créez des tâches ETL, vous pouvez utiliser un magasin de données pris en charge de manière native AWS Marketplace, un connecteur ou vos propres connecteurs personnalisés. Si vous utilisez un connecteur, vous devez d'abord créer une connexion pour le connecteur. Une *connexion* contient les propriétés requises pour se connecter à un magasin de données particulier. Vous utilisez la connexion avec vos sources de données et cibles de données dans la tâche ETL. Les connecteurs et les connexions fonctionnent ensemble pour faciliter l'accès aux magasins de données.
Les connexions suivantes sont disponibles lors de la création de connexions pour les connecteurs :
+ **Amazon Aurora**: un moteur de base de données relationnelle évolutif et très performant doté de fonctionnalités intégrées de sécurité, de sauvegarde et de restauration, ainsi que d'accélération en mémoire.
+ **Amazon DocumentDB** : un service de base de données de documents évolutif, hautement disponible et entièrement géré qui prend en charge MongoDB et SQL. APIs
+ **Amazon Redshift**: un service de base de données de documents évolutif, hautement disponible et entièrement géré qui prend en charge MongoDB et SQL. APIs
+ **Azure SQL** : un service de base de données relationnelle basé sur le cloud de Microsoft Azure qui fournit des fonctionnalités de stockage et de gestion de données évolutives, fiables et sécurisées.
+ **Cosmos DB** : un service de base de données basé sur le cloud distribué dans le monde entier de Microsoft Azure qui fournit des fonctionnalités de stockage et de requête de données évolutives et très performantes.
+ **Google BigQuery** : un entrepôt de données cloud sans serveur permettant d'exécuter des requêtes SQL rapides sur de grands ensembles de données.
+ **JDBC** : système de gestion de base de données relationnelle (RDBMS) qui utilise une API Java pour se connecter et interagir avec les connexions de données.
+ **Kafka** : une plateforme de traitement de flux open source utilisée pour le streaming de données et la messagerie en temps réel.
+ **MariaDB** : une fourche développée par la communauté de MySQL qui offre des performances, une évolutivité et des fonctionnalités améliorées.
+ **MongoDB** : une base de données multiplateforme orientée documents qui offre une évolutivité, une flexibilité et des performances élevées.
+ **MongoDB Atlas** : une offre de base de données en tant que service (DBaaS) basée sur le cloud de MongoDB qui simplifie la gestion et le dimensionnement des déploiements MongoDB.
+ **Microsoft SQL Server** : système de gestion de base de données relationnelle (RDBMS) de Microsoft qui fournit des fonctionnalités robustes de stockage, d'analyse et de création de rapports.
+ **Mixpanel** : plateforme analytique qui aide les entreprises à analyser la manière dont les utilisateurs interagissent avec leurs sites Web, leurs applications mobiles et leurs autres produits numériques.
+ **MySQL** : un système de gestion de base de données relationnelle (RDBMS) open source largement utilisé dans les applications web et connu pour sa fiabilité et sa capacité de mise à l'échelle.
+ **Réseau** : une source de données réseau représente une ressource ou un service accessible par le réseau auquel une plateforme d'intégration de données peut accéder.
+ **OpenSearch**— une source de OpenSearch données est une application qui OpenSearch peut se connecter à des données et les ingérer depuis.
+ **Oracle** : un système de gestion de base de données relationnelle (RDBMS) d'Oracle Corporation qui fournit des fonctionnalités robustes de stockage, d'analyse et de création de rapports.
+ **PostgreSQL** : un système de gestion de base de données relationnelle (RDBMS) open source qui fournit des fonctionnalités robustes de stockage, d'analyse et de création de rapports.
+ **Salesforce** : Salesforce fournit un logiciel de gestion de la relation client (CRM) qui vous aide dans les domaines des ventes, du service client, du commerce électronique, etc. Si vous êtes un utilisateur de Salesforce, vous pouvez vous connecter AWS Glue à votre compte Salesforce. Vous pouvez ensuite utiliser Salesforce comme source de données ou comme destination dans vos tâches ETL. Exécutez ces tâches pour transférer des données entre Salesforce et les AWS services ou d'autres applications prises en charge.
+ **SAP HANA** : une base de données en mémoire et plateforme d'analyse qui permet un traitement rapide des données, des analyses avancées et une intégration des données en temps réel.
+ **Snowflake** : un entrepôt des données basé sur le cloud qui fournit des services d'analyse et de stockage de données évolutifs et très performants.
+ **Teradata** : un système de gestion de base de données relationnelle (RDBMS) qui fournit des fonctionnalités très performantes de stockage, d'analyse et de création de rapports.
+ **Vertica** : un entrepôt des données analytiques orienté colonnes conçu pour l'analytique du big data qui offre des performances de requêtes rapides, des analyses avancées et capacité de mise à l’échelle.
# Création de connecteurs personnalisés
Vous pouvez également créer votre propre connecteur, puis charger le code du connecteur dans AWS Glue Studio.
Les connecteurs personnalisés sont intégrés à AWS Glue Studio Glue Studio via l'API d'exécution Spark AWS Glue. L'exécution Spark AWS Glue vous permet de brancher n'importe quel connecteur compatible avec l'interface Spark, Athena ou JDBC. Cela vous permet de transférer n'importe quelle option de connexion disponible avec le connecteur personnalisé.
Vous pouvez encapsuler toutes vos propriétés de connexion avec [AWS Glue Connections](https://docs.aws.amazon.com/glue/latest/dg/glue-connections.html) (Connexions Glue) et fournir le nom de la connexion à votre tâche ETL. L'intégration aux connexions Data Catalog vous permet d'utiliser les mêmes propriétés de connexion sur plusieurs appels dans une seule application Spark ou différentes applications.
Vous pouvez spécifier des options supplémentaires pour la connexion. Le script de tâche généré par AWS Glue Studio Glue Studio contient une entrée `Datasource` qui utilise la connexion pour brancher votre connecteur avec les options de connexion spécifiées. Par exemple :
```
Datasource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"dbTable":"Account","connectionName":"my-custom-jdbc-
connection"}, transformation_ctx = "DataSource0")
```
**Pour ajouter un connecteur personnalisé à AWS Glue Studio Glue Studio**
1. Créez le code de votre connecteur personnalisé. Pour de plus amples informations, veuillez consulter [Développement de connecteurs personnalisés](developing-custom-connectors.md).
1. Ajoutez la prise en charge des fonctions AWS Glue à votre connecteur. Voici quelques exemples de ces fonctions et de leur utilisation dans le script de tâche généré par AWS Glue Studio :
+ **Mappage des types de données** : votre connecteur peut convertir les colonnes tout en les lisant à partir du magasin de données sous-jacent. Par exemple, un `dataTypeMapping` de `{"INTEGER":"STRING"}` convertit toutes les colonnes de type `Integer` en colonnes de type `String` lors de l'analyse des enregistrements et de la création du fichier `DynamicFrame`. Cela aide les utilisateurs à convertir les colonnes en types de leur choix.
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}",
connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
+ **Partitionnement pour les lectures parallèles** : AWS Glue permet des lectures de données parallèles à partir du magasin de données en partitionnant les données sur une colonne. Vous devez spécifier la colonne de partition, la limite de partition inférieure, la limite de partition supérieure et le nombre de partitions. Cette fonction vous permet d'utiliser à la fois le parallélisme des données et plusieurs exécuteurs Spark alloués à l'application Spark.
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4",
"partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"},
transformation_ctx = "DataSource0")
```
+ ** AWS Secrets Manager À utiliser pour stocker les informations d'identification** : la connexion au catalogue de données peut également contenir un `secretId` code secret stocké dans AWS Secrets Manager. Le AWS secret peut stocker en toute sécurité les informations d'authentification et d'identification et les fournir AWS Glue lors de l'exécution. Vous pouvez également spécifier le `secretId` à partir du script Spark comme suit :
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type
= "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc",
"secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")
```
+ **Filtrage des données source avec des prédicats de ligne et des projections de colonne** : l'exécution Spark AWS Glue permet également aux utilisateurs d'envoyer des requêtes SQL pour filtrer les données à la source avec des prédicats de ligne et des projections de colonne. Cela permet à votre tâche ETL de charger plus rapidement les données filtrées à partir des magasins de données qui prennent en charge les transferts. Voici un exemple de requête SQL transmise à une source de données JDBC : `SELECT id, name, department FROM department WHERE id < 200.`
```
DataSource = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department
WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx =
"DataSource0")
```
+ **Marque-pages de tâche** : AWS Glue prend en charge le chargement progressif de données à partir de sources JDBC. AWS Glue assure le suivi du dernier registre traité à partir du magasin de données et traite les nouveaux registres de données dans les exécutions de tâches ETL suivantes. Les marque-pages de tâche utilisent la clé primaire comme colonne par défaut pour la clé de marque-page, à condition que cette colonne augmente ou diminue de manière séquentielle. Pour plus d'informations sur les marque-pages de tâche, consultez [Marque-pages de tâche](https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html) dans le *Guide du développeur AWS Glue *.
```
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type =
"custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder"
:"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
```
1. Empaquetez le connecteur personnalisé en tant que fichier JAR et téléchargez le fichier sur Amazon S3.
1. Testez votre connecteur personnalisé. Pour plus d'informations, consultez les instructions sur GitHub at [Glue Custom Connectors : Local Validation Tests Guide](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/localValidation/README.md).
1. Dans la console AWS Glue Studio Glue Studio, sélectionnez **Connectors** (Connecteurs) dans le panneau de navigation de la console.
1. Sur la page **Connectors** (Connecteurs), sélectionnez **Create custom connector** (Créer un connecteur personnalisé).
1. Sur la page **Create custom connector** (Créer un connecteur personnalisé), saisissez les informations suivantes :
+ Chemin d'accès à l'emplacement du fichier JAR de code personnalisé dans Amazon S3.
+ Nom du connecteur qui sera utilisé par AWS Glue Studio Glue Studio.
+ Votre type de connecteur, **JDBC**, **Spark** ou **Athena**.
+ Nom du point d'entrée dans votre code personnalisé qu'AWS Glue Studio Glue Studio appelle pour utiliser le connecteur.
+ Pour les connecteurs JDBC, ce champ doit être le nom de classe de votre pilote JDBC.
+ Pour les connecteurs Spark, ce champ doit être le nom complet de la classe de source de données, ou son alias, que vous utilisez lors du chargement de la source de données Spark avec l'opérateur `format`.
+ (JDBC uniquement) URL de base utilisée par la connexion JDBC pour le magasin de données.
+ (Facultatif) Description du connecteur personnalisé.
1. Sélectionnez **Create connector** (Créer un connecteur).
1. Depuis la page **Connectors** (Connecteurs), créez une connexion qui utilise ce connecteur, comme décrit dans [Création de connexions pour les connecteurs](creating-connections.md).
## Ajouter des connecteurs àAWS Glue Studio
Un connecteur est un morceau de code qui facilite la communication entre votre magasin de données et AWS Glue. Vous pouvez soit vous abonner à un connecteur proposé dans AWS Marketplace, soit créer votre propre connecteur personnalisé.
### Abonnement à des connecteurs AWS Marketplace
AWS Glue Studiopermet d'ajouter facilement des connecteurs à partir de AWS Marketplace.
**Pour ajouter un connecteur de AWS Marketplace à AWS Glue Studio**
1. Dans la console AWS Glue Studio Glue Studio, sélectionnez **Connectors** (Connecteurs) dans le panneau de navigation de la console.
1. Sur la page **Connectors** (Connecteurs), sélectionnez **Go to AWS Marketplace** (Accéder à MKT).
1. Dans AWS Marketplace, dans **Produits en vedette**, choisissez le connecteur que vous souhaitez utiliser. Vous pouvez choisir l'un des connecteurs disponibles ou utiliser la recherche. Vous pouvez effectuer une recherche sur le nom ou le type de connecteur, et utiliser des options pour affiner les résultats de cette recherche.
Si vous souhaitez utiliser l'un des connecteurs proposés, sélectionnez **View product** (Afficher le produit). Si vous avez utilisé la recherche pour localiser un connecteur, choisissez le nom de celui-ci.
1. Sur la page produit du connecteur, utilisez les onglets pour afficher des informations sur le connecteur. Si vous décidez d'acheter ce connecteur, sélectionnez **Continue to Subscribe** (Continuer pour s'abonner).
1. Fournissez les informations de paiement, puis sélectionnez **Continue to Configure** (Continuer pour configurer).
1. Sur la page **Configure this software** (Configurer ce logiciel), choisissez la méthode de déploiement et la version du connecteur à utiliser. Puis sélectionnez **Continue to Launch** (Continuer pour lancer).
1. Sur la page **Launch this software** (Lancer ce logiciel), vous pouvez consulter les **instructions d'utilisation** fournies par le fournisseur du connecteur. Lorsque vous êtes prêt à continuer, sélectionnez **Activate connection in (Activer la connexion dans)AWS Glue Studio**.
Après un bref instant, la console affiche la page **Create marketplace connection** (Créer une connexion de site de vente) dans AWS Glue Studio Glue Studio.
1. Créez une connexion qui utilise ce connecteur, comme décrit dans [Création de connexions pour les connecteurs](creating-connections.md).
Vous pouvez également sélectionner **Activate connector only** (Activer le connecteur uniquement) pour ignorer la création d'une connexion à ce stade. Vous devez créer une connexion à une date ultérieure avant de pouvoir utiliser le connecteur.
# Création de connexions pour les connecteurs
Une AWS Glue connexion est un objet du catalogue de données qui stocke les informations de connexion pour un magasin de données spécifique. Les connexions stockent les informations de connexion, les chaînes d'URI, les informations du cloud privé virtuel (VPC), etc. La création de connexions dans le catalogue de données vous évite d'avoir à spécifier tous les détails de connexion à chaque fois que vous créez une tâche.
**Pour créer une connexion pour un connecteur**
1. Dans la AWS Glue Studio console, choisissez **Connectors** dans le volet de navigation de la console. Dans la section **Connexions**, choisissez **Créer une connexion**.
1. Choisissez la source de données pour laquelle vous souhaitez créer une connexion dans la première étape de l'assistant **Créer une connexion de données**. Il existe plusieurs façons de visualiser les sources de données disponibles, notamment :
+ Filtrez les sources de données disponibles en choisissant un onglet. Par défaut, **Tous les connecteurs** est sélectionné.
+ Basculez vers **Liste** pour afficher les sources de données sous forme de liste ou revenez à la **Grille** pour afficher les connecteurs disponibles dans la disposition en grille.
+ Utilisez la barre de recherche pour affiner la liste des sources de données. Lorsque vous tapez, les résultats de recherche s'affichent et les sources non correspondantes sont supprimées de la vue.
Une fois que vous avez choisi la source de données, choisissez **Suivant**.
1. Configurez la connexion dans la deuxième étape de l'assistant.
Saisissez les informations de connexion. Selon le type de connecteur que vous avez sélectionné, vous êtes invité à saisir des informations supplémentaires :
![\[La capture d'écran présente la page Connecteurs et la section Connexions. Le bouton Créer une connexion est entouré d’un cadre rouge. Choisissez Créer une connexion pour démarrer l'assistant de connexion.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/connections-create-connection.png)
1. Choisissez la source de données pour laquelle vous souhaitez créer une connexion dans la première étape de l'assistant **Créer une connexion de données**. Il existe plusieurs méthodes pour afficher les sources de données disponibles. Par défaut, vous verrez toutes les sources de données disponibles sous forme de grille. Vous pouvez également :
+ Basculez vers **Liste** pour afficher les sources de données sous forme de liste ou revenez à la **Grille** pour afficher les connecteurs disponibles dans la disposition en grille.
+ Utilisez la barre de recherche pour affiner la liste des sources de données. Lorsque vous tapez, les résultats de recherche s'affichent et les sources non correspondantes sont supprimées de la vue.
![\[La capture d'écran affiche la barre de recherche et le bouton Grille-Liste.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/connections-create-step-1-view.png)
Une fois que vous avez choisi la source de données, choisissez **Suivant**.
1. Configurez la connexion dans la deuxième étape de l'assistant.
Saisissez les informations de connexion. Selon le type de connecteur que vous avez sélectionné, vous devrez peut-être saisir des informations de connexion supplémentaires. Cela peut inclure :
+ **Détails de connexion** : ces champs changeront en fonction de la source de données à laquelle vous vous connectez. Par exemple, si vous vous connectez aux bases de données Amazon DocumentDB, vous devez saisir l'URL Amazon DocumentDB. Si vous vous connectez à Amazon Aurora, vous devez choisir l'instance de base de données et entrer le nom de la base de données. Voici les détails de connexion requis pour Amazon Aurora :
![\[La capture d'écran montre les détails de connexion requis pour la configuration Amazon Aurora en tant que source de données.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/connections-create-step-2-configure.png)
+ Type d'informations d'identification : choisissez le **nom d'utilisateur et mot de passe** ou ** AWS Secrets Manager**. Saisissez les informations d'authentification demandées.
+ Pour les connecteurs qui utilisent JDBC, entrez les informations requises pour créer l'URL JDBC pour le magasin de données.
+ Si vous utilisez un Virtual Private Cloud (VPC), saisissez les informations réseau de votre VPC.
1. Définissez les propriétés de connexion dans la troisième étape de l'assistant. Vous pouvez ajouter une description et des balises en tant que partie facultative de cette étape. Le nom est obligatoire et est prérempli avec une valeur par défaut. Choisissez **Suivant**.
1. Vérifiez la source, les détails et les propriétés de la connexion. Si vous devez apporter des modifications, choisissez **Modifier** pour l'étape de l'assistant. Lorsque vous avez terminé, choisissez **Créer une connexion**.
Choisissez **Créer une connexion**.
Vous revenez à la page **Connectors** (Connecteurs) et la bannière d'information indique la connexion qui a été créée. Vous pouvez maintenant utiliser la connexion dans vos tâches AWS Glue Studio .
# Création d’une connexion Kafka
Lorsque vous créez une connexion Kafka, la sélection de **Kafka** dans le menu déroulant fait apparaitre des paramètres supplémentaires à configurer :
+ Détails du cluster Kafka
+ Authentification
+ Chiffrement
+ Options réseau
**Configurer les détails du cluster Kafka**
1. Choisissez l’emplacement du cluster. Vous pouvez choisir parmi un cluster **Streaming géré par Amazon pour Apache Kafka (MSK)** (Amazon Managed Streaming for Apache Kafka (MSK)) ou un cluster **Customer managed Apache Kafka** (Apache Kafka géré par le client). Pour plus d’informations sur Amazon Managed Streaming pour Apache Kafka, consultez [Amazon Managed Streaming for Apache Kafka (MSK)](https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html).
**Note**
Amazon Managed Streaming pour Apache Kafka prend uniquement en charge les méthodes d'authentification TLS et SASL/SCRAM-SHA-512.
![\[La capture d'écran montre la section des détails du cluster Kafka avec des options permettant de sélectionner un emplacement de cluster et d'accéder au serveur Kafka Boostrap. URLs\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-cluster-details.png)
1. Entrez le URLs pour vos serveurs bootstrap Kafka. Vous pouvez en saisir plusieurs en séparant chaque serveur par une virgule. Incluez le numéro de port à la fin de l’URL en ajoutant `:`.
Par exemple : `b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094`
**Sélection d’une méthode d’authentification**
![\[La capture d’écran affiche le menu déroulant permettant de sélectionner une méthode d’authentification Kafka.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-connection-authentication.png)
AWS Glue prend en charge le framework SASL (Simple Authentication and Security Layer) pour l'authentification. Le framework SASL prend en charge divers mécanismes d'authentification et AWS Glue propose les protocoles SCRAM (nom d'utilisateur et mot de passe), GSSAPI (protocole Kerberos) et PLAIN (nom d'utilisateur et mot de passe).
Lorsque vous choisissez une méthode d’authentification dans le menu déroulant, les méthodes d’authentification client suivantes peuvent être sélectionnées :
+ Aucune - Aucune authentification. Cette option est utile si vous créez une connexion pour des raisons de tests.
+ SASL/SCRAM-SHA-512 - Choisissez cette méthode d’authentification pour spécifier les informations d’identification d’authentification. Deux options s’offrent à vous :
+ Utiliser AWS Secrets Manager (recommandé) : si vous sélectionnez cette option, vous pouvez enregistrer vos informations d'identification dans AWS Secrets Manager et autoriser l' AWS Glue accès aux informations en cas de besoin. Spécifiez le secret qui stocke les informations d'identification d'authentification SSL ou SASL.
![\[La capture d’écran affiche les options pour les informations d’identification d’authentification si la méthode d’authentification est SASL/SCRAM-SHA-512.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-connection-authentication-sha-512.png)
+ Fournissez directement un nom d’utilisateur et un mot de passe.
+ SASL/GSSAPI (Kerberos) - si vous sélectionnez cette option, vous pouvez sélectionner l'emplacement du fichier keytab, du fichier krb5.conf et entrer le nom principal Kerberos et le nom du service Kerberos. Les emplacements du fichier keytab et du fichier krb5.conf doivent se trouver dans un emplacement Amazon S3. Puisque MSK ne prend pas encore en charge SASL/GSSAPI, cette option n'est disponible que pour les clusters Apache Kafka gérés par le client. Pour en savoir plus, consultez [MIT Kerberos Documentation: Keytab](https://web.mit.edu/kerberos/krb5-latest/doc/basic/keytab_def.html) (Documentation du MIT Kerberos : Keytab).
+ SASL/PLAIN - Choisissez cette méthode d'authentification pour spécifier les informations d'authentification. Deux options s’offrent à vous :
+ Utiliser AWS Secrets Manager (recommandé) : si vous sélectionnez cette option, vous pouvez enregistrer vos informations d'identification dans AWS Secrets Manager et autoriser l' AWS Glue accès aux informations en cas de besoin. Spécifiez le secret qui stocke les informations d'identification d'authentification SSL ou SASL.
+ Fournissez directement un nom d’utilisateur et un mot de passe.
+ Authentification client SSL : si vous sélectionnez cette option, vous pouvez sélectionner l'emplacement du centre de stockage des clés client Kafka en naviguant sur Amazon S3. Vous pouvez également entrer le mot de passe du centre de stockage des clés client Kafka et le mot de passe de la clé client Kafka.
![\[La capture d’écran montre l’option de chiffrement si SSL est la méthode d’authentification.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-connection-authentication-ssl.png)
**Configuration des paramètres de chiffrement**
1. Si la connexion Kafka nécessite une connexion SSL, cochez la case correspondant à **Require SSL connection (Connexion SSL obligatoire)**. Notez que la connexion échouera si elle ne parvient pas à se connecter via SSL. Le protocole SSL pour le chiffrement peut être utilisé avec n'importe quelle méthode d'authentification (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAINou authentification client SSL) et est facultatif.
Si la méthode d’authentification est définie sur **Authentification client SSL**, cette option sera sélectionnée automatiquement et sera désactivée pour empêcher toute modification.
1. (Facultatif). Choisissez l’emplacement du certificat privé auprès de l’autorité de certification (CA). Notez que l’emplacement de la certification doit se trouver dans un emplacement S3. Choisissez **Browse** (Parcourir) pour choisir le fichier dans un compartiment S3 connecté. Le chemin doit être de la forme `s3://bucket/prefix/filename.pem`. Il doit se terminer par le nom du fichier et l’extension .pem.
1. Vous pouvez choisir d’ignorer la validation d’un certificat auprès d’une autorité de certification (CA). Choisissez la case à cocher **Skip validation of certificate from certificate authority (CA)** (Sauter l’étape de validation du certificat de l’autorité de certification (CA)). Si cette case n’est pas cochée, AWS Glue valide les certificats pour trois algorithmes :
+ SHA256withRSA
+ SHA384withRSA
+ SHA512withRSA
![\[La capture d’écran montre les options de configuration du chiffrement, y compris s’il faut ou non exiger une connexion SSL, l’option permettant de sélectionner l’emplacement du certificat privé auprès de l’autorité de certification (CA) et l’option permettant d’ignorer la validation du certificat de l’autorité de certification (CA).\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-connection-encryption.png)
**(Facultatif) Options réseau**
Les étapes suivantes sont facultatives pour configurer des groupes de VPC, de sous-réseau et de sécurité. Si votre AWS Glue tâche doit être exécutée sur des instances Amazon EC2 dans un sous-réseau de cloud privé virtuel (VPC), vous devez fournir des informations de configuration supplémentaires spécifiques au VPC.
1. Choisissez le nom du cloud privé virtuel (VPC) qui contient votre sources de données.
1. Choisissez le sous-réseau au sein de votre VPC.
1. Choisissez un ou plusieurs groupes de sécurité qui autorisent l’accès au stockage des données dans votre sous-réseau VPC. Les groupes de sécurité sont associés à l’ENI attaché à votre sous-réseau. Vous devez choisir au moins un groupe de sécurité avec une règle entrante avec référencement automatique pour tous les ports TCP.
![\[La capture d’écran affiche les options de réseau facultatives pour les groupes de VPC, de sous-réseau et de sécurité.\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/kafka-connection-network-options.png)
# Création de tâches avec des connecteurs personnalisés
Vous pouvez utiliser des connecteurs et des connexions pour les nœuds de source de données et les nœuds de cible de données dans AWS Glue Studio Glue Studio.
**Topics**
+ [Créer des tâches qui utilisent un connecteur pour la source de données](#create-job-connectors)
+ [Configurer les propriétés source pour les nœuds qui utilisent des connecteurs](#edit-connector-source)
+ [Configurer les propriétés cibles pour les nœuds qui utilisent des connecteurs](#edit-connector-target)
## Créer des tâches qui utilisent un connecteur pour la source de données
Lorsque vous créez une tâche, vous pouvez choisir un connecteur pour la source de données et les cibles de données.
**Pour créer une tâche qui utilise des connecteurs pour la source de données ou la cible de données**
1. Connectez-vous à la AWS Glue Studio console AWS Management Console et ouvrez-la à l'adresse [https://console.aws.amazon.com/gluestudio/](https://console.aws.amazon.com/gluestudio/).
1. Depuis la page **Connectors** (Connecteurs), dans la liste de ressources **Your connections** (Vos connexions), choisissez la connexion que vous souhaitez utiliser dans votre tâche, puis sélectionnez **Create job** (Créer une tâche).
Sinon, sur la page **Jobs** (Tâches) d'AWS Glue Studio Glue Studio, sous **Create job** (Créer une tâche), sélectionnez **Source and target added to the graph** (Source et cible ajoutées au graphique). Dans la liste déroulante **Source**, choisissez le connecteur personnalisé que vous souhaitez utiliser dans votre tâche. Vous pouvez également sélectionner un connecteur pour **Target** (Cible).
![\[\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/create-job-data-sources-screenshot.png)
1. Sélectionnez ensuite **Create** (Créer) pour ouvrir l'éditeur de tâches visuelles.
1. Configurez le nœud de source de données, comme décrit dans [Configurer les propriétés source pour les nœuds qui utilisent des connecteurs](#edit-connector-source).
1. Continuez à créer votre tâche ETL en ajoutant des transformations, des magasins de données supplémentaires et des cibles de données, comme décrit dans [Démarrage de tâches ETL visuelles dans AWS Glue Studio](edit-nodes-chapter.md).
1. Personnalisez l'environnement d'exécution de la tâche en configurant les propriétés de la tâche comme décrit dans [Modifier les propriétés de tâche](managing-jobs-chapter.md#edit-jobs-properties).
1. Enregistrez, puis exécutez la tâche.
## Configurer les propriétés source pour les nœuds qui utilisent des connecteurs
Après avoir créé une tâche qui utilise un connecteur pour la source de données, l'éditeur de tâche visuelle affiche un graphique de tâche avec un nœud de source de données configuré pour le connecteur. Vous devez configurer les propriétés de la source de données pour ce nœud.
**Pour configurer les propriétés d'un nœud de source de données qui utilise un connecteur**
1. Choisissez le nœud de la source de données du connecteur dans le graphique de la tâche ou ajoutez un nouveau nœud et choisissez le connecteur pour le **type de nœud**. Ensuite, sur la droite, dans le panneau des détails du nœud, sélectionnez l'onglet **Data source properties** (Propriétés de la source de données), s'il n'est pas déjà sélectionné.
![\[\]](http://docs.aws.amazon.com/fr_fr/glue/latest/dg/images/data-source-properties-connector-screenshot2.png)
1. Sous l'onglet **Data source properties** (Propriétés de la source de données), choisissez la connexion que vous souhaitez utiliser pour cette tâche.
Saisissez les informations supplémentaires requises pour chaque type de connexion :
------
#### [ JDBC ]
+ **Type d'entrée de source de données** : fournissez un nom de table ou une requête SQL comme source de données. Selon votre choix, vous devrez ensuite fournir les informations complémentaires suivantes :
+ **Nom de la table** : nom de la table dans la source de données. Si la source de données n'utilise pas le terme *table*, indiquez le nom d'une structure de données appropriée, comme indiqué par les informations d'utilisation du connecteur personnalisé (disponibles dans AWS Marketplace).
+ **Prédicat de filtre** : clause de condition à utiliser lors de la lecture de la source de données, similaire à une clause `WHERE`, qui est utilisée pour récupérer un sous-ensemble des données.
+ **Code de requête** : saisissez une requête SQL à utiliser pour récupérer un ensemble de données spécifique à partir de la source de données. Voici un exemple d'une requête SQL de base :
```
SELECT column_list FROM
table_name WHERE where_clause
```
+ **Schéma** : étant donné qu'AWS Glue Studio Glue Studio utilise les informations stockées dans la connexion pour accéder à la source de données au lieu de récupérer les informations de métadonnées à partir d'une table Data Catalog, vous devez fournir les métadonnées de schéma pour la source de données. Sélectionnez **Add schema** (Ajouter un schéma) pour ouvrir l'éditeur de schéma.
Pour obtenir des instructions sur l'utilisation de l'éditeur de schéma, veuillez consulter [Modifier le schéma d'un nœud de transformation personnalisé](transforms-custom.md#transforms-custom-editschema).
+ **Colonne de partition** : (facultatif) vous pouvez choisir de partitionner les lectures de données en fournissant des valeurs pour **Partition column** (Colonne de partition), **Lower bound** (Limite inférieure), **Upper bound** (Limite supérieure) et **Number of partitions** (Nombre de partitions).
Les valeurs `lowerBound` et `upperBound` sont utilisées pour décider de la progression de la partition, pas pour filtrer les lignes de la table. Toutes les lignes de la table sont partitionnées et renvoyées.
**Note**
Le partitionnement de colonne ajoute une condition de partitionnement supplémentaire à la requête utilisée pour lire les données. Lorsque vous utilisez une requête au lieu d'un nom de table, vous devez valider que la requête fonctionne avec la condition de partitionnement spécifiée. Par exemple :
Si le format de votre requête est `"SELECT col1 FROM table1"`, testez la requête en ajoutant une clause `WHERE` à la fin de la requête qui utilise la colonne de partition.
Si le format de votre requête est `"SELECT col1 FROM table1 WHERE col2=val"`, testez la requête en étendant la clause `WHERE` avec `AND` et une expression qui utilise la colonne de partition.
+ **Conversion de type de données** : si la source de données utilise des types de données qui ne sont pas disponibles dans JDBC, utilisez cette section pour spécifier comment un type de données de la source de données doit être converti en types de données JDBC. Vous pouvez spécifier jusqu'à 50 conversions de types de données différents. Toutes les colonnes de la source de données qui utilisent le même type de données sont converties de la même manière.
Par exemple, si vous avez trois colonnes dans la source de données qui utilisent le type de données `Float` et que vous indiquez que le type de données `Float` doit être converti en type de données JDBC `String`, les trois colonnes qui utilisent le type de données `Float` sont converties en types de données `String`.
+ **Job bookmark keys** (Clés de marque-pages de tâche) : les marque-pages de tâche permettent à AWS Glue de conserver des informations d'état et d'empêcher le retraitement des anciennes données. Spécifiez une ou plusieurs colonnes comme clés de marque-page. AWS Glue Studio utilise les clés de marque-page pour suivre les données qui ont déjà été traitées au cours d'une exécution précédente de la tâche ETL. Toutes les colonnes que vous utilisez pour les clés de marque-page personnalisées doivent être croissantes ou décroissantes de manière monotonique et stricte, mais les espaces sont autorisés.
Si vous saisissez plusieurs clés de marque-page, elles sont combinées pour former une seule clé composée. Une clé de marque-page de tâche composée ne doit pas contenir de colonnes en double. Si vous ne spécifiez pas de clés de marque-page, AWS Glue Studio utilise par défaut la clé primaire comme clé de marque-page, à condition que la clé primaire augmente ou diminue de manière séquentielle (sans espace). Si la table n'a pas de clé primaire, mais que la propriété de marque-page de tâche est activée, vous devez fournir des clés de marque-page de tâche personnalisées. Sinon, la recherche des clés primaires à utiliser par défaut échouera et l'exécution du travail échouera.
+ **Ordre de tri des clés de marque-page de la tâche** : indiquez si les valeurs clés augmentent ou diminuent de façon séquentielle.
------
#### [ Spark ]
+ **Schéma** : étant donné qu'AWS Glue Studio Glue Studio utilise les informations stockées dans la connexion pour accéder à la source de données au lieu de récupérer les informations de métadonnées à partir d'une table Data Catalog, vous devez fournir les métadonnées de schéma pour la source de données. Sélectionnez **Add schema** (Ajouter un schéma) pour ouvrir l'éditeur de schéma.
Pour obtenir des instructions sur l'utilisation de l'éditeur de schéma, veuillez consulter [Modifier le schéma d'un nœud de transformation personnalisé](transforms-custom.md#transforms-custom-editschema).
+ **Options de connexion** : saisissez des paires clé-valeur supplémentaires si nécessaire pour fournir des informations ou des options de connexion supplémentaires. Par exemple, vous pouvez saisir un nom de base de données, un nom de table, un nom d'utilisateur et un mot de passe.
Par exemple, pour OpenSearch, vous entrez les paires clé-valeur suivantes, comme décrit dans : [Tutoriel : Utilisation du AWS Glue connecteur pour Elasticsearch](tutorial-elastisearch-connector.md)
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
Pour un exemple des options de connexion minimales à utiliser, consultez l'exemple de script de test [MinimalSparkConnectorTest.scala](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala) on GitHub, qui indique les options de connexion que vous devez normalement fournir dans une connexion.
------
#### [ Athena ]
+ **Nom de la table** : nom de la table dans la source de données. Si vous utilisez un connecteur pour lire les CloudWatch journaux d'Athena, vous devez entrer le nom de la table. `all_log_streams`
+ **Nom du schéma Athena** : choisissez le schéma dans votre source de données Athena qui correspond à la base de données qui contient la table. Si vous utilisez un connecteur pour lire les CloudWatch journaux d'Athena, vous devez entrer un nom de schéma similaire à. `/aws/glue/name`
+ **Schéma** : étant donné qu'AWS Glue Studio Glue Studio utilise les informations stockées dans la connexion pour accéder à la source de données au lieu de récupérer les informations de métadonnées à partir d'une table Data Catalog, vous devez fournir les métadonnées de schéma pour la source de données. Sélectionnez **Add schema** (Ajouter un schéma) pour ouvrir l'éditeur de schéma.
Pour obtenir des instructions sur l'utilisation de l'éditeur de schéma, veuillez consulter [Modifier le schéma d'un nœud de transformation personnalisé](transforms-custom.md#transforms-custom-editschema).
+ **Options de connexion supplémentaires** : saisissez des paires clé-valeur supplémentaires si nécessaire pour fournir des informations ou des options de connexion supplémentaires.
Pour un exemple, consultez le `README.md` fichier à l'adresse [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena). Dans les étapes de ce document, l'exemple de code montre les options de connexion minimales requises, qui sont `tableName`, `schemaName` et `className`. L'exemple de code spécifie ces options dans le cadre de la variable `optionsMap`, mais vous pouvez les spécifier pour votre connexion, puis utiliser la connexion.
------
1. (Facultatif) Après avoir fourni les informations requises, vous pouvez afficher le schéma de données résultant pour votre source de données en choisissant l'onglet **Output schema** (Schéma de sortie) dans le panneau des détails du nœud. Le schéma affiché sur cet onglet est utilisé par tous les nœuds enfants que vous ajoutez au graphique de tâche.
1. (Facultatif) Après avoir configuré les propriétés du nœud et les propriétés de la source de données, vous pouvez prévisualiser le jeu de données à partir de votre source de données en sélectionnant l'onglet Data preview (Prévisualisation des données) dans le volet de détails du nœud. La première fois que vous choisissez cet onglet pour un nœud de votre tâche, vous êtes invité à fournir un rôle IAM pour accéder aux données. Il y a un coût associé à l'utilisation de cette fonction, et la facturation commence dès que vous fournissez le rôle IAM.
## Configurer les propriétés cibles pour les nœuds qui utilisent des connecteurs
Si vous utilisez un connecteur pour le type de cible de données, vous devez configurer les propriétés du nœud de cible de données.
**Pour configurer les propriétés d'un nœud de cible de données qui utilise un connecteur**
1. Choisissez le nœud cible des données du connecteur dans le graphique de la tâche. Ensuite, sur la droite, dans le panneau des détails du nœud, sélectionnez l'onglet **Data target properties** (Propriétés de la cible de données), s'il n'est pas déjà sélectionné.
1. Dans **Data target properties** (Propriétés des cibles de données), choisissez la connexion à utiliser pour écrire sur la cible.
Saisissez les informations supplémentaires requises pour chaque type de connexion :
------
#### [ JDBC ]
+ **Connexion** : choisissez la connexion à utiliser avec votre connecteur. Pour plus d'informations sur la création d'une connexion, consultez [Création de connexions pour les connecteurs](creating-connections.md).
+ **Nom de la table** : nom de la table dans la cible de données. Si la cible de données n'utilise pas le terme *table*, indiquez le nom d'une structure de données appropriée, comme indiqué par les informations d'utilisation du connecteur personnalisé (disponibles dans AWS Marketplace).
+ **Taille de lot** (facultatif) : saisissez le nombre de lignes ou d'enregistrements à insérer dans la table cible en une seule opération. La valeur par défaut est de 1 000 lignes.
------
#### [ Spark ]
+ **Connexion** : choisissez la connexion à utiliser avec votre connecteur. Si vous n'avez pas créé de connexion auparavant, sélectionnez **Create connection** (Créer une connexion) pour en créer une. Pour plus d'informations sur la création d'une connexion, consultez [Création de connexions pour les connecteurs](creating-connections.md).
+ **Options de connexion** : saisissez des paires clé-valeur supplémentaires si nécessaire pour fournir des informations ou des options de connexion supplémentaires. Vous pouvez saisir un nom de base de données, un nom de table, un nom d'utilisateur et un mot de passe.
Par exemple, pour OpenSearch, vous entrez les paires clé-valeur suivantes, comme décrit dans : [Tutoriel : Utilisation du AWS Glue connecteur pour Elasticsearch](tutorial-elastisearch-connector.md)
+ `es.net.http.auth.user` : `username`
+ `es.net.http.auth.pass` : `password`
+ `es.nodes` : `https://`
+ `es.port` : `443`
+ `path`: ``
+ `es.nodes.wan.only` : `true`
Pour un exemple des options de connexion minimales à utiliser, consultez l'exemple de script de test [MinimalSparkConnectorTest.scala](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/MinimalSparkConnectorTest.scala) on GitHub, qui indique les options de connexion que vous devez normalement fournir dans une connexion.
------
1. Après avoir fourni les informations requises, vous pouvez afficher le schéma de données résultant pour votre source de données en choisissant l'onglet **Output schema** (Schéma de sortie) dans le panneau des détails du nœud.
# Gestion des connecteurs et des connexions
Vous utilisez la page **Connexions** dans AWS Glue pour gérer vos connecteurs et connexions.
**Topics**
+ [Affichage des détails du connecteur et de la connexion](#connector-details)
+ [Modification des connecteurs et des connexions](#editing-connectors)
+ [Suppression des connecteurs et des connexions](#deleting-connectors)
+ [Annuler un abonnement pour un connecteur](#cancel-subscription)
## Affichage des détails du connecteur et de la connexion
Vous pouvez afficher des informations récapitulatives sur vos connecteurs et connexions dans les tableaux de ressources **Your connectors** (Vos connecteurs) et **Your connections** (Vos connexions) sur la page **Connectors** (Connecteurs). Pour afficher les informations détaillées, procédez comme suit.
**Pour afficher les détails des connecteurs ou des connexions**
1. Dans la console AWS Glue Studio Glue Studio, sélectionnez **Connectors** (Connecteurs) dans le panneau de navigation de la console.
1. Choisissez le connecteur ou la connexion dont vous souhaitez afficher les informations détaillées.
1. Sélectionnez **Actions**, puis **View details** (Afficher les détails) pour ouvrir la page de détail de ce connecteur ou de cette connexion.
1. Sur la page détaillée, vous pouvez choisir de **Edit** (Modifier) ou de **Delete** (Supprimer) le connecteur ou la connexion.
+ Pour les connecteurs, vous pouvez sélectionner **Create connecton** (Créer une connexion) pour créer une connexion qui utilise le connecteur.
+ Pour les connexions, vous pouvez sélectionner **Create job** (Créer une tâche) pour créer une tâche qui utilise la connexion.
## Modification des connecteurs et des connexions
Vous utilisez la page **Connectors** (Connecteurs) pour modifier les informations stockées dans vos connecteurs et connexions.
**Pour modifier un connecteur ou une connexion**
1. Dans la console AWS Glue Studio Glue Studio, sélectionnez **Connectors** (Connecteurs) dans le panneau de navigation de la console.
1. Sélectionnez le connecteur ou la connexion que vous souhaitez modifier.
1. Sélectionnez **Actions**, puis **Edit** (Modifier).
Vous pouvez également sélectionner **View details** (Afficher les détails) et sur la page des détails du connecteur ou de la connexion, vous pouvez sélectionner **Edit** (Modifier).
1. Sur la page **Edit connector** (Modifier le connecteur) ou **Edit connection** (Modifier la connexion), mettez à jour les informations, puis sélectionnez **Save** (Enregistrer).
## Suppression des connecteurs et des connexions
Vous pouvez utiliser la page **Connectors** (Connecteurs) pour supprimer les connecteurs et les connexions. Si vous supprimez un connecteur, toutes les connexions créées pour ce connecteur doivent également être supprimées.
**Pour retirer des connecteurs de AWS Glue Studio**
1. Dans la console AWS Glue Studio Glue Studio, sélectionnez **Connectors** (Connecteurs) dans le panneau de navigation de la console.
1. Sélectionnez le connecteur ou la connexion que vous souhaitez supprimer.
1. Sélectionnez ** Actions**, puis sélectionnez **Delete** (Supprimer).
Vous pouvez également sélectionner **View details** (Afficher les détails), puis sur la page détaillée du connecteur ou de la connexion, vous pouvez sélectionnez **Delete** (Supprimer).
1. Vérifiez que vous souhaitez supprimer le connecteur ou la connexion en saisissant **Delete**, puis sélectionnez **Delete** (Supprimer).
Lors de la suppression d'un connecteur, toutes les connexions créées pour celui-ci sont également supprimées.
Toutes les tâches qui utilisent une connexion supprimée ne fonctionneront plus. Vous pouvez modifier les tâches pour utiliser un autre magasin de données ou les supprimer. Pour plus d'informations sur la suppression d'une tâche, veuillez consulter [Supprimer une tâche](managing-jobs-chapter.md#delete-jobs).
Si vous supprimez un connecteur, cela n'annule pas l'abonnement au connecteur dans AWS Marketplace. Pour supprimer un abonnement à un connecteur supprimé, suivez les instructions de la rubrique [Annuler un abonnement pour un connecteur](#cancel-subscription).
## Annuler un abonnement pour un connecteur
Après avoir supprimé les connexions et le connecteurAWS Glue Studio, vous pouvez annuler votre abonnement AWS Marketplace si vous n'en avez plus besoin.
**Note**
Si vous annulez votre abonnement à un connecteur, cela ne supprime pas le connecteur ou la connexion de votre compte. Toutes les tâches qui utilisent le connecteur et les connexions associées ne pourront plus utiliser le connecteur et échoueront.
Avant de vous désabonner ou de vous réabonner à un connecteur de AWS Marketplace, vous devez supprimer les connexions existantes et les connecteurs associés à ce AWS Marketplace produit.
**Pour vous désabonner d'un connecteur dans AWS Marketplace**
1. Connectez-vous à la AWS Marketplace console sur [https://console.aws.amazon.com/marketket.](https://console.aws.amazon.com/marketplace)
1. Sélectionnez **Manage subscriptions** (Gérer les abonnements).
1. Depuis la page **Manage subscriptions** (Gérer les abonnements), sélectionnez **Manage** (Gérer) en regard de l'abonnement au connecteur que vous souhaitez annuler.
1. Sélectionnez **Actions**, puis **Cancel subscription** (Annuler l'abonnement).
1. Cochez la case pour confirmer que les instances en cours d'exécution sont facturées sur votre compte, puis sélectionnez **Yes, cancel subscription** (Oui, annuler l'abonnement).
# Développement de connecteurs personnalisés
Vous pouvez écrire le code qui lit ou écrit des données dans votre magasin de données et formate les données à utiliser avec les tâches AWS Glue Studio Glue Studio. Vous pouvez créer des connecteurs pour les magasins de données Spark, Athena et JDBC. L'exemple de code publié sur GitHub fournit un aperçu des interfaces de base que vous devez implémenter.
Vous aurez besoin d'un environnement de développement local pour créer votre code de connecteur. Vous pouvez utiliser n'importe quel IDE ou même simplement un éditeur de ligne de commande pour écrire votre connecteur. Voici quelques exemples d'environnements de développement :
+ Un environnement Scala local avec une bibliothèque AWS Glue ETL Maven locale, comme décrit dans [Développement local avec Scala](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-scala) dans le *Guide du développeur AWS Glue *.
+ IntelliJ IDE, en téléchargeant l'IDE depuis. [https://www.jetbrains.com/idea/](https://www.jetbrains.com/idea/)
**Topics**
+ [Développement de connecteurs Spark](#code-spark-connector)
+ [Développement de connecteurs Athena](#code-athena-connector)
+ [Développement de connecteurs JDBC](#code-jdbc-connector)
+ [Exemples d'utilisation de connecteurs personnalisés avec AWS Glue Studio Glue Studio](#custom-connector-examples)
+ [Développement de AWS Glue connecteurs pour AWS Marketplace](#code-marketplace-connector)
## Développement de connecteurs Spark
Vous pouvez créer un connecteur Spark avec DataSource l'API Spark V2 (Spark 2.4) pour lire les données.
**Pour créer un connecteur Spark personnalisé**
Suivez les étapes de la bibliothèque AWS Glue GitHub d'exemples pour développer des connecteurs Spark, qui se trouve à l'adresse [https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md.](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md)
## Développement de connecteurs Athena
Vous pouvez créer un connecteur Athena à utiliser par AWS Glue et AWS Glue Studio Glue Studio pour interroger une source de données personnalisée.
**Pour créer un connecteur Athena personnalisé**
[Suivez les étapes de la bibliothèque AWS Glue GitHub d'exemples pour développer les connecteurs Athena, qui se trouve à https://github.com/aws-samples/ aws-glue-samples l'adresse/. tree/master/GlueCustomConnectors/development/Athena](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena)
## Développement de connecteurs JDBC
Vous pouvez créer un connecteur qui utilise JDBC pour accéder à vos magasins de données.
**Pour créer un connecteur JDBC personnalisé**
1. Installez les bibliothèques d'exécution Spark AWS Glue dans votre environnement de développement local. Reportez-vous aux instructions de la bibliothèque AWS Glue GitHub d'exemples à l'adresse [ https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md.](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md)
1. Implémentez le pilote JDBC chargé de récupérer les données de la source de données. Reportez-vous à la [documentation Java](https://docs.oracle.com/javase/8/docs/technotes/guides/jdbc/) pour Java SE 8.
Créez un point d'entrée dans votre code qu'AWS Glue Studio Glue Studio utilise pour localiser votre connecteur. Le champ **Class name** (Nom de classe) doit être le chemin complet de votre pilote JDBC.
1. Utilisation de l'API `GlueContext` pour lire les données avec le connecteur. Les utilisateurs peuvent ajouter plus d'options d'entrée dans la console AWS Glue Studio Glue Studio pour configurer la connexion à la source de données, si nécessaire. Pour un exemple de code qui montre comment lire et écrire dans une base de données JDBC avec un connecteur JDBC personnalisé, voir Valeurs personnalisées [et](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-connect.html#aws-glue-programming-etl-connect-market) ConnectionType. AWS Marketplace
## Exemples d'utilisation de connecteurs personnalisés avec AWS Glue Studio Glue Studio
Vous pouvez consulter les blogs suivants pour des exemples d'utilisation de connecteurs personnalisés :
+ [Développer, tester et déployer des connecteurs personnalisés pour vos magasins de données avec AWS Glue](https://aws.amazon.com/blogs/big-data/developing-testing-and-deploying-custom-connectors-for-your-data-stores-with-aws-glue/)
+ Apache Hudi : [Écrire dans des tables Apache Hudi à l'aide du AWS Glue connecteur personnalisé](https://aws.amazon.com/blogs/big-data/writing-to-apache-hudi-tables-using-aws-glue-connector/)
+ Google BigQuery : [migration de données de Google vers Amazon S3 BigQuery à l'aide de connecteurs AWS Glue personnalisés](https://aws.amazon.com/blogs/big-data/migrating-data-from-google-bigquery-to-amazon-s3-using-aws-glue-custom-connectors/)
+ Snowflake (JDBC) : [Exécution de transformations de données à l'aide de Snowflake et AWS Glue](https://aws.amazon.com/blogs/big-data/performing-data-transformations-using-snowflake-and-aws-glue/)
+ SingleStore: [Création d'un ETL rapide à l'aide SingleStore de et AWS Glue](https://aws.amazon.com/blogs/big-data/building-fast-etl-using-singlestore-and-aws-glue/)
+ Salesforce : [ingérez des données Salesforce dans Amazon S3 à l'aide du connecteur personnalisé CData JDBC](https://aws.amazon.com/blogs/big-data/ingest-salesforce-data-into-amazon-s3-using-the-cdata-jdbc-custom-connector-with-aws-glue) avec - AWS Glue
+ MongoDB : [Création de AWS Glue tâches ETL Spark à l'aide d'Amazon DocumentDB (avec compatibilité MongoDB) et MongoDB](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/)
+ Amazon Relational Database Service (Amazon RDS) : [création de tâches ETL AWS Glue Spark en apportant vos propres pilotes JDBC pour](https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-by-bringing-your-own-jdbc-drivers-for-amazon-rds/) Amazon RDS
+ [MySQL (JDBC) : https://github.com/aws-samples/aws-glue-samples//.scala blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL](https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala)
## Développement de AWS Glue connecteurs pour AWS Marketplace
En tant que AWS partenaire, vous pouvez créer des connecteurs personnalisés et les télécharger AWS Marketplace pour les vendre aux AWS Glue clients.
Le processus de développement du code du connecteur est le même que pour les connecteurs personnalisés, mais le processus de téléchargement et de vérification du code du connecteur est plus détaillé. Reportez-vous aux instructions de la section [Création de connecteurs pour AWS Marketplace](https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/marketplace/publishGuide.pdf) sur le GitHub site Web.
# Restrictions d'utilisation des connecteurs et des connexions dans AWS Glue Studio Glue Studio
Lorsque vous utilisez des connecteurs personnalisés ou des connecteurs provenant de AWS Marketplace, prenez note des restrictions suivantes :
+ L'API testConnection n'est pas prise en charge avec les connexions créées pour les connecteurs personnalisés.
+ Le chiffrement du mot de passe de connexion Data Catalog n'est pas pris en charge avec les connecteurs personnalisés.
+ Vous ne pouvez pas utiliser de marque-pages de tâche si vous spécifiez un prédicat de filtre pour un nœud de source de données qui utilise un connecteur JDBC.
+ La création d'une connexion Marketplace n'est pas prise en charge en dehors de l'interface AWS Glue Studio utilisateur.