Amazon Athena HBase Konnektor

Der Amazon-Athena-HBase-Konnektor ermöglicht Amazon Athena die Kommunikation mit Ihren Apache-HBase-Instances, sodass Sie Ihre HBase-Daten mit SQL abfragen können.

Im Gegensatz zu herkömmlichen relationalen Datenspeichern haben HBase-Sammlungen kein festgelegtes Schema. HBase hat keinen Metadatenspeicher. Jeder Eintrag in eine HBase-Sammlung kann unterschiedliche Felder und Datentypen haben.

Der HBase-Konnektor unterstützt zwei Mechanismen zum Generieren von Tabellenschemainformationen: grundlegende Schemainferenz und AWS Glue Data Catalog-Metadaten.

Die Schemainferenz ist die Standardeinstellung. Mit dieser Option werden eine kleine Anzahl von Dokumenten in Ihrer Sammlung gescannt, eine Vereinigung aller Felder gebildet und Felder mit nicht überlappenden Datentypen erwzungen. Diese Option eignet sich gut für Sammlungen, die größtenteils einheitliche Einträge haben.

Für Sammlungen mit einer größeren Vielfalt an Datentypen unterstützt der Konnektor das Abrufen von Metadaten aus dem AWS Glue Data Catalog. Wenn der Konnektor eine AWS Glue-Datenbank und -Tabelle findet, die Ihrem HBase-Namensbereich und Ihren -Sammlungsnamen entsprechen, erhält er seine Schemainformationen von den entsprechenden AWS Glue-Tabelle. Wenn Sie Ihre AWS Glue-Tabelle erstellen, wird empfohlen, dass Sie sie zu einer Übergruppe aller Felder machen, auf die Sie möglicherweise von Ihrer HBase-Sammlung aus zugreifen möchten.

Wenn Sie Lake Formation in Ihrem Konto aktiviert haben, muss die IAM-Rolle für Ihren Athena-Verbund-Lambda-Konnektor, den Sie im AWS Serverless Application Repository bereitstellen, in Lake Formation über Lesezugriff auf das AWS Glue Data Catalog verfügen.

Dieser Connector kann bei Glue-Datenkatalog als Verbundkatalog registriert werden. Er unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Voraussetzungen

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den HBase-Konnektor zu konfigurieren.

aws glue describe-connection-type --connection-type HBASE

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

master_hostname:hbase_port:zookeeper_port

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

Einrichten von Datenbanken und Tabellen in AWS Glue

Die integrierte Schemainferenz des Konnektors unterstützt nur Werte, die in HBase als Strings serialisiert sind (z. B. String.valueOf(int)). Da die integrierten Schemainferenzfunktionen des Konnektors begrenzt sind, sollten Sie stattdessen AWS Glue für Metadaten verwenden. Für die Aktivierung einer AWS Glue-Tabelle für die Verwendung mit HBase benötigen Sie eine AWS Glue-Datenbank und -Tabelle mit Namen, die mit dem HBase-Namensbereich und der -Tabelle übereinstimmen, für die Sie zusätzliche Metadaten bereitstellen möchten. Die Verwendung der Namenskonventionen für HBase-Spaltenfamilien ist optional, aber nicht erforderlich.

Modellieren von Spaltenfamilien

Der Athena-HBase-Konnektor unterstützt zwei Möglichkeiten zur Modellierung von HBase-Spaltenfamilien: vollqualifizierte (abgeflachte) Benennung wie family:column oder die Verwendung von STRUCT-Objekten.

Im STRUCT-Model sollte der Name des STRUCT-Feldes mit der Spaltenfamilie übereinstimmen und die untergeordneten Elementen von STRUCT sollten mit den Namen der Spalten der Familie übereinstimmen. Da Prädikat-Push-Down- und Columnar-Lesevorgänge jedoch für komplexe Typen wie STRUCT noch nicht vollständig unterstützt werden, wird die Verwendung von STRUCT derzeit nicht empfohlen.

Das folgende Image zeigt eine in AWS Glue konfigurierte Tabelle, die eine Kombination der beiden Ansätze verwendet.

Datentypunterstützung

Der Konnektor ruft alle HBase-Werte als Basis-Byte-Typ ab. Dann, basierend darauf, wie Sie Ihre Tabellen im AWS Glue-Datenkatalog definiert haben, ordnet er die Werte einem der Apache Arrow-Datentypen in der folgenden Tabelle zu.

Erforderliche Berechtigungen

Ausführliche Informationen zu den für diesen Konnektor erforderlichen IAM-Richtlinien finden Sie im Policies-Abschnitt der athena-hbase.yaml-Datei. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

Leistung

Der Athena-HBase-Konnektor versucht, Abfragen für Ihre HBase-Instance zu parallelisieren, indem er jeden Regionsserver parallel liest. Der Athena-HBase-Konnektor führt einen Prädikat-Pushdown durch, um die von der Abfrage durchsuchten Daten zu reduzieren.

Die Lambda-Funktion führt auch Projektions-Pushdown durch, um die von der Abfrage gescannten Daten zu reduzieren. Die Auswahl einer Teilmenge von Spalten führt jedoch manchmal zu einer längeren Laufzeit der Abfrageausführung. LIMIT-Klauseln reduzieren die Menge der gescannten Daten, aber wenn Sie kein Prädikat angeben, sollten Sie davon ausgehen, dass SELECT-Abfragen mit einer LIMIT-Klausel mindestens 16 MB an Daten scannen.

HBase ist anfällig für Abfragefehler und schwankende Abfrageausführungszeiten. Möglicherweise müssen Sie Ihre Abfragen mehrmals wiederholen, damit diese erfolgreich sind. Der HBase-Konnektor ist aufgrund der Gleichzeitigkeit widerstandsfähig gegenüber Drosselung.

Pass-Through-Abfragen

Der HBase-Connector unterstützt Pass-Through-Abfragen und basiert auf NoSQL. Informationen zur Abfrage von Apache HBase mithilfe von Filtern finden Sie in der Apache-Dokumentation unter Filtersprache.

Verwenden Sie die folgende Syntax, um Pass-Through-Abfragen mit HBase zu verwenden:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

Das folgende Beispiel für eine HBase-Passthrough-Abfrage filtert innerhalb der employee-Sammlung der default-Datenbank nach Mitarbeitern im Alter von 24 oder 30 Jahren.

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

Lizenzinformationen

Das Amazon-Athena-HBase-Konnektor-Projekt ist lizenziert unter Apache-2.0-Lizenz.

Weitere Ressourcen

Weitere Informationen zu diesem Konnektor finden Sie unter der entsprechenden Seite auf GitHub.com.