Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connessioni per il servizio OpenSearch

È possibile utilizzare AWS Glue per Spark per leggere e scrivere su tabelle nel servizio OpenSearch in AWS Glue 4.0 e versioni successive. È possibile definire cosa leggere dal servizio OpenSearch con una query OpenSearch. Connettiti al servizio OpenSearch utilizzando le credenziali di autenticazione di base HTTP memorizzate in Gestione dei segreti AWS tramite una connessione AWS Glue. Questa funzionalità non è compatibile con il servizio OpenSearch serverless.

Per ulteriori informazioni sul servizio OpenSearch, consulta la documentazione per gli sviluppatori del servizio OpenSearch di Amazon.

Configurazione del servizio OpenSearch

Per connetterti al servizio OpenSearch da AWS Glue, dovrai creare e archiviare le tue credenziali relative in un segreto Gestione dei segreti AWS, quindi associare tale segreto a una connessione del servizio OpenSearch AWS Glue.

Prerequisiti:

Dopo aver creato una connessione del servizio OpenSearch AWS Glue, è necessario eseguire le seguenti operazioni prima di eseguire il processo AWS Glue:

Lettura dagli indici del servizio OpenSearch

Prerequisiti:

Questo esempio legge un indice del servizio OpenSearch di Amazon. Dovrai fornire il parametro pushdown.

Per esempio:

opensearch_read = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "pushdown": "true",
    }
)

È possibile anche fornire una stringa di query per filtrare i risultati restituiti nel DynamicFrame. Sarà necessario configurare opensearch.query.

opensearch.query può accettare una stringa di parametri di query URL queryString o un oggetto di query DSL JSON queryObject Per ulteriori informazioni sulla query DSL, consulta Query DSL nella documentazione di OpenSearch. Per fornire una stringa di parametri di query URL, anteponi ?q= alla query, come faresti con un URL completo. Per fornire un oggetto di query DSL, la stringa evita l'oggetto JSON prima di fornirlo.

Per esempio:

            queryObject = "{ "query": { "multi_match": { "query": "Sample", "fields": [ "sample" ] } } }"
            queryString = "?q=queryString"
            
            opensearch_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="opensearch",
    connection_options={
        "connectionName": "connectionName",
        "opensearch.resource": "aosIndex",
        "opensearch.query": queryString,
        "pushdown": "true",
    }
)

Per ulteriori informazioni su come creare una query al di fuori della sua sintassi specifica, consulta Sintassi della stringa di query nella documentazione di OpenSearch.

Durante la lettura di raccolte OpenSearch che contengono dati di tipo array, è necessario specificare i campi che sono di tipo array nella chiamata al metodo utilizzando il parametro opensearch.read.field.as.array.include.

Ad esempio, durante la lettura del documento seguente incontrerai i campi di array genre e actor:

{
    "_index": "movies",
    "_id": "2",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "director": "Frankenheimer, John",
        "genre": [
            "Drama",
            "Mystery",
            "Thriller",
            "Crime"
        ],
        "year": 1962,
        "actor": [
            "Lansbury, Angela",
            "Sinatra, Frank",
            "Leigh, Janet",
            "Harvey, Laurence",
            "Silva, Henry",
            "Frees, Paul",
            "Gregory, James",
            "Bissell, Whit",
            "McGiver, John",
            "Parrish, Leslie",
            "Edwards, James",
            "Flowers, Bess",
            "Dhiegh, Khigh",
            "Payne, Julie",
            "Kleeb, Helen",
            "Gray, Joe",
            "Nalder, Reggie",
            "Stevens, Bert",
            "Masters, Michael",
            "Lowell, Tom"
        ],
        "title": "The Manchurian Candidate"
    }
}

In questo caso, dovrai includere i nomi dei campi in questione nella chiamata al metodo. Per esempio:

"opensearch.read.field.as.array.include": "genre,actor"

Se il campo dell'array è annidato all'interno della struttura del documento, fai riferimento a esso utilizzando la notazione a punti: "genre,actor,foo.bar.baz". Ciò specificherebbe un array baz incluso nel documento di origine tramite il documento incorporato foo contenente il documento incorporato bar.

Scrittura alle tabelle del servizio OpenSearch

Questo esempio scrive informazioni a partire da un DynamicFrame esistente, dynamicFrame al servizio OpenSearch Se l'indice contiene già informazioni, AWS Glue aggiungerà i dati da DynamicFrame. Dovrai fornire il parametro pushdown.

Prerequisiti:

Per esempio:

glueContext.write_dynamic_frame.from_options(
    frame=dynamicFrame,
    connection_type="opensearch",
    connection_options={
      "connectionName": "connectionName",
      "opensearch.resource": "aosIndex",
    },
)

Indicazioni di riferimento alle opzioni di connessione al servizio OpenSearch