Verwendung des AWS Serverless Application Repository für die Bereitstellung eines Hive-Datenquellen-Connectors - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwendung des AWS Serverless Application Repository für die Bereitstellung eines Hive-Datenquellen-Connectors

Um einen Athena-Datenquellen-Connector für Hive bereitzustellen, können Sie dieAWS Serverless Application Repository verwenden anstatt mit der Athena-Konsole zu beginnen. Verwenden Sie AWS Serverless Application Repository, um den Connector zu suchen, den Sie verwenden möchten, die Parameter anzugeben, die der Connector benötigt, und den Connector dann für Ihr Konto bereitzustellen. Nachdem Sie den Connector bereitgestellt haben, verwenden Sie die Athena-Konsole, um die Datenquelle für Athena verfügbar zu machen.

So verwenden Sie den AWS Serverless Application Repository zur Bereitstellung eines Datenquellen-Connectors für Hive in Ihrem Konto

  1. Melden Sie sich an der AWS-Managementkonsole an und öffnen Sie Serverless App Repository (Serverless-App-Repository).

  2. Wählen Sie im Navigationsbereich Available applications (Verfügbare Anwendungen) aus.

  3. Wählen Sie die Option Apps anzeigen, die benutzerdefinierte IAM-Rollen oder Ressourcenrichtlinien erstellen.

  4. Geben Sie in das Suchfeld ein Hive. Zu den angezeigten Connectors gehören die folgenden zwei:

    • AthenaHiveMetastoreFunction – Uber-Lambda-Funktions-.jar-Datei.

    • AthenaHiveMetastoreFunctionWithLayer – Lambda-Ebene und .jar-Thin-Lambda-Funktionsdatei.

    Die beiden Anwendungen besitzen dieselbe Funktionalität und unterscheiden sich nur in der Implementierung. Sie können beide für die Erstellung einer Lambda-Funktion verwenden, die Athena mit Ihrem Hive-Metastore verbindet.

  5. Wählen Sie den Namen des Connectors aus, den Sie verwenden möchten. In diesem Tutorial wird AthenaHiveMetastoreFunction verwendet.

    Auswahl des Namens des Athena-Datenquellen-Connectors für Hive.

  6. Geben Sie unter Application settings (Anwendungseinstellungen) die Parameter für Ihre Lambda-Funktion ein.

    • LambdaFuncName – Geben Sie einen Namen für die Funktion an. Zum Beispiel myHiveMetastore.

    • SpillLocation – Geben Sie in diesem Konto einen Amazon S3-Speicherort an, um Spillover-Metadaten zu speichern, wenn die Antwortgröße der Lambda-Funktion 4 MB überschreitet.

    • HMSUris – Geben Sie den URI Ihres Hive-Metastore-Hosts ein, der das Thrift-Protokoll an Port 9083 verwendet. Verwenden der Syntax thrift://<host_name>:9083.

    • LambdaMemory – Geben Sie einen Wert zwischen 128 MB und 3008 MB an. Der Lambda-Funktion werden CPU-Zyklen proportional zur von Ihnen konfigurierten Speichermenge zugewiesen. Der Standardwert ist 1024.

    • LambdaTimeout – Geben Sie die maximal zulässige Laufzeit des Lambda-Aufrufs in Sekunden von 1 bis 900 an (900 Sekunden sind 15 Minuten). Der Standardwert ist 300 Sekunden (5 Minuten).

    • VpcSecurityGroupIds – Geben Sie eine durch Komma getrennte Liste der VPC-Sicherheitsgruppen-IDs für den Hive-Metastore ein.

    • VPCSubnetIds – Geben Sie eine durch Komma getrennte Liste der VPC-Subnetz-IDs für den Hive-Metastore ein.

  7. Wählen Sie unten rechts auf der Seite Anwendungsdetails die Option Ich bestätige, dass diese App benutzerdefinierte IAM-Rollen erstellt und wählen Sie dann Bereitstellen aus.

An diesem Punkt können Sie Athena so konfigurieren, dass Ihre Lambda-Funktion zur Verbindung mit Ihrem Hive-Metastore verwendet wird. Informationen zu den erforderlichen Schritten finden Sie unter Konfigurieren Sie Athena für die Verwendung eines bereitgestellten Hive-Metastore-Connectors.