Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connexions OpenSearch Service

Vous pouvez utiliser AWS Glue pour Spark pour lire et écrire dans des tables dans OpenSearch Service dans la version 4.0 et ultérieure d'AWS Glue. Vous pouvez définir ce qu'il faut lire depuis OpenSearch Service à l'aide d'une requête OpenSearch. Vous vous connectez à OpenSearch Service à l'aide des informations d'identification d'authentification HTTP de base stockées dans AWS Secrets Manager via une connexion AWS Glue. Cette fonctionnalité n’est pas compatible avec OpenSearch Service sans serveur.

Pour plus d'informations sur Amazon OpenSearch Service, consultez la documentation Amazon OpenSearch Service.

Configuration des connexions OpenSearch Service

Pour vous connecter à OpenSearch Service à partir d'AWS Glue, vous devez créer et stocker vos informations d'identification OpenSearch Service dans un secret AWS Secrets Manager, puis associer ce secret à une connexion AWS Glue OpenSearch Service.

Prérequis :

Après avoir créé une connexion AWS Glue OpenSearch Service, vous devez effectuer les étapes suivantes avant d'exécuter votre tâche AWS Glue :

Lire à partir des index d'OpenSearch Service

Prérequis :

Cet exemple lit un index à partir d'Amazon OpenSearch Service. Vous devrez fournir le paramètre pushdown.

Par exemple :

opensearch_read = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "pushdown": "true",
    }
)

Vous pouvez également fournir une chaîne de requête pour filtrer les résultats renvoyés à votre DynamicFrame. Vous devrez configurer opensearch.query.

opensearch.query peut prendre une chaîne de paramètres de requête URL queryString ou un objet de requête DSL JSON queryObject. Pour plus d'informations sur la requête DSL, consultez la section Requête DSL dans la documentation OpenSearch. Pour fournir une chaîne de paramètres de requête URL, ajoutez ?q= à votre requête, comme vous le feriez pour une URL complète. Pour fournir un objet de requête DSL, échapper une chaîne objet JSON avant de le fournir.

Par exemple :

            queryObject = "{ "query": { "multi_match": { "query": "Sample", "fields": [ "sample" ] } } }"
            queryString = "?q=queryString"
            
            opensearch_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "opensearch.query": queryString,
        "pushdown": "true",
    }
)

Pour plus d'informations sur la façon de créer une requête en dehors de sa syntaxe spécifique, consultez Syntaxe de chaîne de requête dans la documentation OpenSearch.

Lors de la lecture à partir de collections OpenSearch contenant des données de type tableau, vous devez spécifier quels champs sont de type tableau dans votre appel de méthode en utilisant le paramètre opensearch.read.field.as.array.include.

Par exemple, en lisant le document suivant, vous rencontrerez les champs genre et actor du tableau :

{
    "_index": "movies",
    "_id": "2",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "director": "Frankenheimer, John",
        "genre": [
            "Drama",
            "Mystery",
            "Thriller",
            "Crime"
        ],
        "year": 1962,
        "actor": [
            "Lansbury, Angela",
            "Sinatra, Frank",
            "Leigh, Janet",
            "Harvey, Laurence",
            "Silva, Henry",
            "Frees, Paul",
            "Gregory, James",
            "Bissell, Whit",
            "McGiver, John",
            "Parrish, Leslie",
            "Edwards, James",
            "Flowers, Bess",
            "Dhiegh, Khigh",
            "Payne, Julie",
            "Kleeb, Helen",
            "Gray, Joe",
            "Nalder, Reggie",
            "Stevens, Bert",
            "Masters, Michael",
            "Lowell, Tom"
        ],
        "title": "The Manchurian Candidate"
    }
}

Dans ce cas, vous devez inclure les noms de ces champs dans votre appel de méthode. Par exemple :

"opensearch.read.field.as.array.include": "genre,actor"

Si votre champ de tableau est imbriqué dans la structure de votre document, faites-y référence en utilisant la notation par points : "genre,actor,foo.bar.baz". Cela permet de spécifier un tableau baz inclus dans votre document source par le biais du document intégré foo contenant le document intégré bar.

Ecrire dans des tables d'OpenSearch Service

Cet exemple écrit des informations à partir d'un DynamicFrame existant, dynamicFrame, dans OpenSearch Service. Si l'index contient déjà des informations, AWS Glue ajoutera les données de votre DynamicFrame. Vous devrez fournir le paramètre pushdown.

Prérequis :

Par exemple :

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="opensearch",
    connection_options={
      "connectionName": "connectionName",
      "opensearch.resource": "aosIndex",
    },
)

Référence des options de connexion d'OpenSearch Service