Didacticiel : Utilisation du connecteur AWS Glue pour Elasticsearch

Connectez-vous à la console AWS Secrets Manager.

Sur la page de présentation du service ou la page de la liste Secrets, sélectionnez Store a new secret (Stocker un nouveau secret).

Sur la page Store a new secret (Stocker un nouveau secret), sélectionnez Other type of secret (Autre type de secret). Cette option signifie que vous devez fournir la structure et les détails de votre secret.

Ajoutez une paire clé et valeur pour le nom d'utilisateur du cluster OpenSearch. Par exemple :

es.net.http.auth.user: nom d'utilisateur

Sélectionnez + Add row (+ Ajouter une ligne), puis saisissez une autre paire clé-valeur pour le mot de passe. Par exemple :

es.net.http.auth.pass :mot de passe

Choisissez Suivant.

Saisissez un nom de secret. Par exemple :my-es-secret. Vous pouvez ajouter une description si vous le souhaitez.

Enregistrez le nom secret, qui sera utilisé plus tard dans ce didacticiel, puis sélectionnez Next (Suivant).

Sélectionnez à nouveau Next (Suivant), puis Store (Stocker) pour créer le secret.

Si vous n'avez pas encore configuré votre compte AWS pour utiliser License Manager, procédez comme suit :

1. Ouvrez la console AWS License Manager à l'adresse https://console.aws.amazon.com/license-manager.

2. Sélectionnez Create customer managed license (Créer une licence gérée par le client).

3. Dans la fenêtre IAM permissions (one-time setup) (Autorisations IAM [configuration unique]), sélectionnez I grant AWS License Manager the required permissions, (J'accorde les autorisations LIC requises), puis Grant permissions (Accorder les autorisations).

   Si vous ne voyez pas cette fenêtre, cela signifie que vous avez déjà configuré les autorisations nécessaires.

Ouvrez la console AWS Glue Studio à l'adresse https://console.aws.amazon.com/gluestudio/.

Dans la console AWS Glue Studio, développez l'icône de menu ( ), puis choisissez Connectors (Connecteurs) dans le panneau de navigation.

Sur la page Connectors (Connecteurs), sélectionnez Go to AWS Marketplace (Accéder à MKT).

Dans AWS Marketplace, dans la section Rechercher des produits AWS Glue Studio, saisissez Connecteur AWS Glue pour Elasticsearch dans le champ de recherche, puis appuyez sur Entrée.

Sélectionnez le nom du connecteur, Connecteur AWS Glue pour Elasticsearch.

Sur la page produit du connecteur, utilisez les onglets pour afficher des informations sur le connecteur. Lorsque vous êtes prêt à continuer, sélectionnez Continue to Subscribe (Continuer pour s'abonner).

Lisez les conditions d'utilisation du logiciel. Cliquez sur Accept Terms (Accepter les conditions d'utilisation).

Une fois le processus d'abonnement terminé, la notification suivante apparaît : « Merci de vous être abonné à ce produit ! Vous pouvez à présent configurer votre logiciel. » Au-dessus de la bannière se trouve le bouton Continue to Configuration (Continuer à configurer). Choisissez Continue to Configuration (Continuer vers Configuration).

Choisissez l'option remplissage sur la page Configure this software (Configurer ce logiciel). Vous avez le choix entre AWS Glue 1.0/2.0 ou AWS Glue 3.0. Puis sélectionnez Continue to Launch (Continuer pour lancer).

Dans la page Launch this software (Lancer ce logiciel) dans la console AWS Marketplace, sélectionnez Usage Instructions (Instructions d'utilisation), puis sélectionnez le lien dans la fenêtre qui s'affiche.

Votre navigateur est redirigé vers la console AWS Glue Studio Create marketplace connection (Créer une connexion de site de vente).

Saisissez un nom pour la connexion. Par exemple :my-es-connection.

Dans la section Connection access (Accès à la connexion), pour Connection credential type (Type d'informations d'identification de connexion), sélectionnez User name and password (Nom d'utilisateur et mot de passe).

Pour Secret AWS, saisissez le nom de votre secret. Par exemple :my-es-secret.

Dans la section Network options (Options réseau), saisissez les informations de VPC pour vous connecter au cluster OpenSearch.

Sélectionnez Create connection and activate connector (Créer une connexion et activer le connecteur).

Configurez les autorisations décrites dans Examinez les autorisations IAM nécessaires pour les tâches ETL.

Configurez les autorisations supplémentaires nécessaires lors de l'utilisation de connecteurs avec AWS Glue Studio, comme décrit dans Autorisations requises pour l'utilisation de connecteurs.

Dans AWS Glue Studio, choisissez Connectors (Connecteurs).

Dans Your connections (Vos connexions), sélectionnez la connexion que vous venez de créer et sélectionnez Create job (Créer une tâche).

Dans l'éditeur de travail visuel, sélectionnez le nœud Data source (Source de données). Sur la droite, dans l'onglet Data source properties — Connector (Propriétés de la source de données — Connecteur), configurez des informations supplémentaires pour le connecteur.

1. Sélectionnez Add schema (Ajouter un schéma) et saisissez le schéma de l'ensemble de données dans la source de données. Les connexions n'utilisent pas les tables stockées dans le catalogue de données, ce qui signifie que AWS Glue Studio ne connaît pas le schéma des données. Vous devez fournir manuellement ces informations de schéma. Pour obtenir des instructions sur l'utilisation de l'éditeur de schéma, veuillez consulter Modifier le schéma d'un nœud de transformation personnalisé.

2. Développez Connection options (Options de connexion).

3. Sélectionnez Add new option (Ajouter une nouvelle option) et saisissez les informations nécessaires pour le connecteur qui n'ont pas été renseignées dans le secret AWS :

   • es.nodes: https://<OpenSearch domain endpoint>

   • es.port : 443

   • chemin : test

   • es.nodes.wan.only. : true

   Pour en savoir plus sur ces options de connexion, reportez-vous à https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html.

Ajoutez un nœud cible au graphique.

Votre cible de données peut être Amazon S3, ou elle peut utiliser les informations d'un AWS Glue Data Catalog ou d'un connecteur pour écrire des données dans un emplacement différent. Par exemple, vous pouvez utiliser une table Data Catalog pour écrire dans une base de données dans Amazon RDS, ou vous pouvez utiliser un connecteur comme cible de données pour écrire dans des magasins de données qui ne sont pas pris en charge de manière native dans AWS Glue.

Si vous sélectionnez un connecteur pour votre cible de données, vous devez choisir une connexion créée pour ce connecteur. En outre, si le fournisseur de connecteurs l'exige, vous devez ajouter des options pour fournir des informations supplémentaires au connecteur. Si vous utilisez une connexion qui contient des informations pour un secret AWS, vous n'avez pas besoin de fournir le nom d'utilisateur et l'authentification par mot de passe dans les options de connexion.

Ajoutez éventuellement des sources de données supplémentaires et un ou plusieurs nœuds de transformation, comme décrit dans Transformation de données avec des transformations gérées par AWS Glue.

Configurez les propriétés du travail comme décrit dans Modifier les propriétés de tâche, en commençant par l'étape 3, et enregistrez la tâche.

Utilisation de la console AWS Glue Studio, sur la page de l'éditeur visuel, choisissez Run (Exécuter).

Dans la bannière de succès, sélectionnez Run Details (Détails de l'exécution), ou l'onglet Runs (Exécutions) de l'éditeur visuel pour afficher des informations sur l'exécution de la tâche.