Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

OpenSearch Connessioni di servizio

Puoi usare AWS Glue for Spark per leggere e scrivere su tabelle in OpenSearch Service in AWS Glue 4.0 e versioni successive. Puoi definire cosa leggere da OpenSearch Service con una OpenSearch query. Ti connetti al OpenSearch Servizio utilizzando le credenziali di autenticazione di base HTTP archiviate AWS Secrets Manager tramite una connessione AWS Glue. Questa funzionalità non è compatibile con OpenSearch Service serverless.

Per ulteriori informazioni su Amazon OpenSearch Service, consulta la documentazione di Amazon OpenSearch Service.

Configurazione delle connessioni OpenSearch al servizio

Per connetterti a OpenSearch Service from AWS Glue, dovrai creare e archiviare le tue credenziali di OpenSearch Service in modo AWS Secrets Manager segreto, quindi associare quel segreto a una connessione OpenSearch Service AWS Glue.

Prerequisiti:

Dopo aver creato una connessione OpenSearch al servizio AWS Glue, dovrai eseguire i seguenti passaggi prima di eseguire il processo AWS Glue:

Lettura dagli indici OpenSearch di servizio

Prerequisiti:

Questo esempio legge un indice di Amazon OpenSearch Service. Dovrai fornire il parametro pushdown.

Ad esempio:

opensearch_read = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "pushdown": "true",
    }
)

Puoi anche fornire una stringa di query per filtrare i risultati restituiti nel tuo DynamicFrame. Sarà necessario configurare opensearch.query.

opensearch.querypuò accettare una stringa di parametri di interrogazione URL queryString o un oggetto JSON DSL di query. queryObject Per ulteriori informazioni sulla query DSL, vedere Query DSL nella documentazione. OpenSearch Per fornire una stringa di parametri di query URL, anteponi ?q= alla query, come faresti con un URL completo. Per fornire un oggetto di query DSL, la stringa evita l'oggetto JSON prima di fornirlo.

Ad esempio:

            queryObject = "{ "query": { "multi_match": { "query": "Sample", "fields": [ "sample" ] } } }"
            queryString = "?q=queryString"
            
            opensearch_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "opensearch.query": queryString,
        "pushdown": "true",
    }
)

Per ulteriori informazioni su come creare una query al di fuori della sua sintassi specifica, vedi Query string syntax nella documentazione. OpenSearch

Quando si legge da OpenSearch raccolte che contengono dati di tipo array, è necessario specificare quali campi sono di tipo di matrice nella chiamata al metodo utilizzando il opensearch.read.field.as.array.include parametro.

Ad esempio, durante la lettura del documento seguente incontrerai i campi di array genre e actor:

{
    "_index": "movies",
    "_id": "2",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "director": "Frankenheimer, John",
        "genre": [
            "Drama",
            "Mystery",
            "Thriller",
            "Crime"
        ],
        "year": 1962,
        "actor": [
            "Lansbury, Angela",
            "Sinatra, Frank",
            "Leigh, Janet",
            "Harvey, Laurence",
            "Silva, Henry",
            "Frees, Paul",
            "Gregory, James",
            "Bissell, Whit",
            "McGiver, John",
            "Parrish, Leslie",
            "Edwards, James",
            "Flowers, Bess",
            "Dhiegh, Khigh",
            "Payne, Julie",
            "Kleeb, Helen",
            "Gray, Joe",
            "Nalder, Reggie",
            "Stevens, Bert",
            "Masters, Michael",
            "Lowell, Tom"
        ],
        "title": "The Manchurian Candidate"
    }
}

In questo caso, dovrai includere i nomi dei campi in questione nella chiamata al metodo. Ad esempio:

"opensearch.read.field.as.array.include": "genre,actor"

Se il campo dell'array è annidato all'interno della struttura del documento, fai riferimento a esso utilizzando la notazione a punti: "genre,actor,foo.bar.baz". Ciò specificherebbe un array baz incluso nel documento di origine tramite il documento incorporato foo contenente il documento incorporato bar.

Scrittura nelle tabelle OpenSearch di servizio

Questo esempio scrive informazioni da un servizio esistente DynamicFrame dynamicFrame a un OpenSearch servizio. Se l'indice contiene già informazioni, AWS Glue aggiungerà i dati del tuo DynamicFrame. Dovrai fornire il parametro pushdown.

Prerequisiti:

Ad esempio:

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="opensearch",
    connection_options={
      "connectionName": "connectionName",
      "opensearch.resource": "aosIndex",
    },
)

OpenSearch Riferimento all'opzione di connessione al servizio