Amazon-Athena-DocumentDB-Konnektor

Der DocumentDB-Konnektor von Amazon Athena ermöglicht Amazon Athena die Kommunikation mit Ihren DocumentDB-Instances, sodass Sie Ihre DocumentDB-Daten mit SQL abfragen können. Der Konnektor funktioniert auch mit jedem Endpunkt, der mit MongoDB kompatibel ist.

Im Gegensatz zu herkömmlichen relationalen Datenspeichern haben Amazon-DocumentDB-Sammlungen kein festgelegtes Schema. DocumentDB besitzt keinen Metadatenspeicher. Jeder Eintrag in einer DocumentDB-Sammlung kann unterschiedliche Felder und Datentypen haben.

Der DocumentDB-Konnektor unterstützt zwei Mechanismen zum Generieren von Tabellenschemainformationen: grundlegende Schemainferenz und AWS Glue Data Catalog-Metadaten.

Die Schemainferenz ist die Standardeinstellung. Mit dieser Option werden eine kleine Anzahl von Dokumenten in Ihrer Sammlung gescannt, eine Vereinigung aller Felder gebildet und Felder mit nicht überlappenden Datentypen erzwungen. Diese Option eignet sich gut für Sammlungen, die größtenteils einheitliche Einträge haben.

Für Sammlungen mit einer größeren Vielfalt an Datentypen unterstützt der Konnektor das Abrufen von Metadaten aus dem AWS Glue Data Catalog. Wenn der Konnektor eine AWS Glue-Datenbank und -Tabelle findet, die Ihren DocumentDB-Datenbank- und -Sammlungsnamen entsprechen, erhält er ihre Schemainformationen von den entsprechenden AWS Glue-Tabelle. Wenn Sie Ihre AWS Glue-Tabelle erstellen, wird empfohlen, dass Sie sie zu einer Übergruppe aller Felder machen, auf die Sie möglicherweise von Ihrer DocumentDB-Sammlung aus zugreifen möchten.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, muss die IAM-Rolle für Ihren Athena-Verbund-Lambda-Konnektor, den Sie im AWS Serverless Application Repository bereitstellen, in Lake Formation über Lesezugriff auf das AWS Glue Data Catalog verfügen.

Dieser Connector kann bei Glue-Datenkatalog als Verbundkatalog registriert werden. Er unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Voraussetzungen

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den DocumentDB-Konnektor zu konfigurieren.

aws glue describe-connection-type --connection-type DOCUMENTDB

SELECT * FROM "docdb_instance_1".database.table

SELECT * FROM "docdb_instance_2".database.table

mongodb://:@:/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0      

mongodb://${docdb_instance_1_creds}@myhostname.com:123/?ssl=true&ssl_ca_certs=rds-combined-ca-bundle.pem&replicaSet=rs0         

Abrufen zusätzlicher Metadaten

Um zusätzliche Metadaten abzurufen, gehen Sie wie folgt vor, um Ihre Glue-Datenbank und -Tabelle zu konfigurieren.

Die Glue-Datenbank einrichten

Konfigurieren Sie die Glue-Tabelle

Fügen Sie Ihrer Glue-Tabelle die folgenden Parameter hinzu:

Abrufen von Metadaten überprüfen

Einrichten von Datenbanken und Tabellen in AWS Glue

Da die integrierte Schemainferenzfunktion des Konnektors eine begrenzte Anzahl von Dokumenten scannt und nur eine Teilmenge von Datentypen unterstützt, sollten Sie stattdessen AWS Glue für Metadaten verwenden.

Um eine AWS Glue-Tabelle für die Verwendung mit Amazon DocumentDB zu aktivieren, müssen Sie über eine AWS Glue-Datenbank und -Tabelle für die DocumentDB-Datenbank und -Sammlung verfügen, für die Sie zusätzliche Metadaten bereitstellen möchten.

Datentypunterstützung

In diesem Abschnitt werden die Datentypen aufgeführt, die der DocumentDB-Konnektor für die Schemainferenz verwendet, und die Datentypen, wenn AWS Glue-Metadaten werden verwendet.

Datentypen für Schemainferenz

Das Schemainferenzfeature des DocumentDB-Konnektors versucht, Werte als zu einem der folgenden Datentypen gehörend abzuleiten. Die Tabelle zeigt die entsprechenden Datentypen für Amazon DocumentDB, Java und Apache Arrow.

AWS Glue-Datentypen

Wenn Sie AWS Glue für ergänzende Metadaten verwenden, können Sie die folgenden Datentypen konfigurieren. Die Tabelle zeigt die entsprechenden Datentypen für AWS Glue und Apache Arrow.

Erforderliche Berechtigungen

Ausführliche Informationen zu den für diesen Konnektor erforderlichen IAM-Richtlinien finden Sie im Policies-Abschnitt der athena-docdb.yaml-Datei. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

Leistung

Der Amazon-DocumentDB-Konnektor von Athena unterstützt derzeit keine parallelen Scans, sondern versucht, Prädikate als Teil seiner DocumentDB-Abfragen nach unten zu verschieben. Prädikate für Indizes in Ihrer DocumentDB-Sammlung führen zu deutlich weniger gescannten Daten.

Die Lambda-Funktion führt Projektions-Pushdown durch, um die von der Abfrage gescannten Daten zu reduzieren. Die Auswahl einer Teilmenge von Spalten führt jedoch manchmal zu einer längeren Laufzeit der Abfrageausführung. LIMIT-Klauseln reduzieren die Menge der gescannten Daten, aber wenn Sie kein Prädikat angeben, sollten Sie davon ausgehen, dass SELECT-Abfragen mit einer LIMIT-Klausel mindestens 16 MB an Daten scannen.

Pass-Through-Abfragen

Der Athena Amazon DocumentDB-Connector unterstützt Pass-Through-Abfragen und basiert auf NoSQL. Weitere Informationen über Abfragen in Amazon-DocumentDB finden Sie unter Abfragen im Amazon-DocumentDB-Entwicklerhandbuch.

Verwenden Sie die folgende Syntax, um Pass-Through-Abfragen mit Amazon DocumentDB zu verwenden:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

Im folgenden Beispiel wird die example-Datenbank innerhalb der TPCDS-Sammlung abgefragt und dabei nach allen Büchern mit dem Titel Grundrechte gefiltert.

SELECT * FROM TABLE(
        system.query(
            database => 'example',
            collection => 'tpcds',
            filter => '{title: "Bill of Rights"}'
        ))

Weitere Ressourcen