Amazon Athena OpenSearch Konnektor

OpenSearch Service

Der Amazon-Athena-OpenSearch-Konnektor ermöglicht Amazon Athena die Kommunikation mit Ihren OpenSearch-Instances, sodass Sie Ihre OpenSearch-Daten mithilfe von SQL abfragen können.

Dieser Connector kann bei Glue-Datenkatalog als Verbundkatalog registriert werden. Er unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, muss die IAM-Rolle für Ihren Athena-Verbund-Lambda-Konnektor, den Sie im AWS Serverless Application Repository bereitstellen, in Lake Formation über Lesezugriff auf das AWS Glue Data Catalog verfügen.

Voraussetzungen

Bedingungen

Die folgenden Begriffe beziehen sich auf den OpenSearch-Konnektor.

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den OpenSearch-Konnektor zu konfigurieren.

aws glue describe-connection-type --connection-type OPENSEARCH

Einrichten von Datenbanken und Tabellen in AWS Glue

Der Konnektor erhält Metadateninformationen mithilfe von AWS Glue oder OpenSearch. Sie können eine AWS Glue-Tabelle als ergänzende Metadatendefinitionsquelle einrichten. Um diese Funktion zu aktivieren, definieren Sie eine AWS Glue-Datenbank und -Tabelle, die mit der Domain und dem Index der Quelle übereinstimmen, die Sie ergänzen. Der Konnektor kann auch die in der OpenSearch-Instance gespeicherten Metadatendefinitionen nutzen, indem er das Mapping für den angegebenen Index abruft.

Definieren von Metadaten für Arrays in OpenSearch

OpenSearch hat keinen dedizierten Array-Datentyp. Jedes Feld kann null oder mehr Werte enthalten, sofern sie vom gleichen Datentyp sind. Wenn Sie OpenSearch als Ihre Metadatendefinitionsquelle verwenden möchten, müssen Sie eine _meta-Eigenschaft für alle mit Athena verwendeten Indizes für die Felder definieren, die als Liste oder Array betrachtet werden sollen. Wenn Sie diesen Schritt nicht ausführen, geben Abfragen nur das erste Element im Listenfeld aus. Wenn Sie die _meta-Eigenschaft angeben, sollten Feldnamen sollten vollständig für verschachtelte JSON-Strukturen qualifiziert sein (z. B. address.street, wobei street ein verschachteltes Feld innerhalb einer address-Struktur ist).

Im folgenden Beispiel werden actor- und genre-Listen in der movies-Tabelle definiert.

PUT movies/_mapping 
{ 
  "_meta": { 
    "actor": "list", 
    "genre": "list" 
  } 
}

Datentypen

Der OpenSearch-Konnektor kann Metadatendefinitionen entweder aus AWS Glue oder der OpenSearch-Instance extrahieren. Der Konnektor verwendet das Mapping in der folgenden Tabelle, um die Definitionen in Apache Arrow-Datentypen zu konvertieren, einschließlich der im folgenden Abschnitt aufgeführten Punkte.

Hinweise zu Datentypen

Ausführen von SQL-Abfragen

Im Folgenden finden Sie Beispiele für DDL-Abfragen, die Sie mit diesem Konnektor verwenden können. In den Beispielen entspricht function_name dem Namen Ihrer Lambda-Funktion, domain ist der Name der Domain, die Sie abfragen möchten, und index ist der Name Ihres Index.

SHOW DATABASES in `lambda:function_name`

SHOW TABLES in `lambda:function_name`.domain

DESCRIBE `lambda:function_name`.domain.index

Leistung

Der Athena-OpenSearch-Konnektor unterstützt Shard-basierte parallele Scans. Der Konnektor verwendet aus der OpenSearch-Instance abgerufene Clusterintegritätsinformationen, um mehrere Anforderungen für eine Dokumentsuchabfrage zu generieren Die Anforderungen werden für jeden Shard aufgeteilt und gleichzeitig ausgeführt.

Der Konnektor gibt auch Prädikate als Teil seiner Dokumentensuchabfragen aus. Die folgende Beispielabfrage und das folgende Prädikat zeigen, wie der Konnektor Prädikat-Pushdown verwendet.

Abfrage

SELECT * FROM "lambda:elasticsearch".movies.movies 
WHERE year >= 1955 AND year <= 1962 OR year = 1996

Prädikat

(_exists_:year) AND year:([1955 TO 1962] OR 1996)

Pass-Through-Abfragen

Der OpenSearch-Connector unterstützt Pass-Through-Abfragen und verwendet die Query-DSL-Sprache. Weitere Informationen zur Abfrage mit Query DSL finden Sie unter Query DSL in der Elasticsearch-Dokumentation oder unter Query DSL in der OpenSearch-Dokumentation.

Verwenden Sie die folgende Syntax, um Pass-Through-Abfragen mit dem OpenSearch-Connector zu verwenden:

SELECT * FROM TABLE(
        system.query(
            schema => 'schema_name',
            index => 'index_name',
            query => "{query_string}"
        ))

Das folgende Beispiel für OpenSearch-Passthrough-Abfrage filtert nach Mitarbeitern mit aktivem Beschäftigungsstatus im employee-Index des default-Schemas.

SELECT * FROM TABLE(
        system.query(
            schema => 'default',
            index => 'employee',
            query => "{ ''bool'':{''filter'':{''term'':{''status'': ''active''}}}}"
        ))

Weitere Ressourcen