Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Entwickeln von benutzerdefinierten Connectors
Sie können den Code schreiben, der Daten aus dem Datenspeicher liest oder in den Datenspeicher schreibt und für die Verwendung mit AWS Glue Studio-Aufträgen formatiert. Sie können Connectors für Spark, Athena und JDBC-Datenspeicher erstellen. Beispiel-Code auf GitHub gibt einen Überblick über die grundlegenden Schnittstellen, die Sie implementieren müssen.
Sie benötigen eine lokale Entwicklungsumgebung, um Ihren Connector-Code zu erstellen. Sie können eine beliebige IDE oder sogar nur einen Befehlszeileneditor verwenden, um Ihren Connector zu schreiben. Beispiele für Entwicklungsumgebungen:
-
Eine lokale Scala-Umgebung mit einer lokalen AWS Glue-ETL-Maven-Bibliothek, wie unter Lokale Entwicklung mit Scala im AWS Glue-Entwicklerhandbuch beschrieben.
-
IntelliJ IDE, indem Sie die IDE unter https://www.jetbrains.com/idea/
herunterladen.
Themen
Entwickeln von Spark-Connectors
Sie können einen Spark-Connector mit der Spark DataSource API V2 (Spark 2.4) erstellen, um Daten zu lesen.
Erstellen Sie einen benutzerdefinierten Spark-Connector wie folgt
Führen Sie die Schritte aus der AWS Glue-GitHub-Beispielbibliothek zum Entwickeln von Spark-Connectors aus, die Sie unter https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md
Entwickeln von Athena-Connectors
Sie können einen Athena-Connector erstellen, der von AWS Glue und AWS Glue Studio zur Abfrage einer benutzerdefinierten Datenquelle verwendet wird.
Erstellen Sie einen benutzerdefinierten Athena-Connector wie folgt
Führen Sie die Schritte aus der AWS Glue-GitHub-Beispielbibliothek zum Entwickeln von Athena-Connectors aus, die Sie unter https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena
Entwickeln von JDBC-Connectors
Sie können einen Connector erstellen, der JDBC verwendet, um auf Ihre Datenspeicher zuzugreifen.
Einen benutzerdefinierten JDBC-Connector erstellen
-
Installieren Sie die AWS Glue-Spark-Laufzeitbibliotheken in Ihrer lokalen Entwicklungsumgebung. Anweisungen dazu finden Sie in der AWS Glue-GitHub-Beispielbibliothek unter https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md
. -
Implementieren Sie den JDBC-Treiber, der für das Abrufen der Daten aus der Datenquelle verantwortlich ist. Weitere Informationen finden Sie in der Java-Dokumentation
für Java SE 8. Erstellen Sie einen Einstiegspunkt in Ihrem Code, den AWS Glue Studio verwendet, um Ihren Connector zu finden. Das Feld Class name (Klassenname) sollte der vollständige Pfad Ihres JDBC-Treibers sein.
-
Verwenden Sie die
GlueContext-API, um Daten mit dem Connector zu lesen. Benutzer können weitere Eingabeoptionen in der AWS Glue Studio-Konsole hinzufügen, um gegebenenfalls die Verbindung zur Datenquelle zu konfigurieren. Ein Codebeispiel, das zeigt, wie mit einem benutzerdefinierten JDBC-Connector aus einer JDBC-Datenbank gelesen und in diese geschrieben wird, finden Sie unter Benutzerdefinierte und AWS MarketplaceconnectionType-Werte.
Beispiele für die Verwendung von benutzerdefinierten Connectors mit AWS Glue Studio
Beispiele für die Verwendung von benutzerdefinierten Connectors finden Sie in den folgenden Blogs:
-
Apache Hudi: Schreiben in Apache Hudi-Tabellen mithilfe des benutzerdefinierten AWS Glue-Connectors
-
Google BigQuery: Migrieren von Daten von Google BigQuery zu Amazon S3 mithilfe von benutzerdefinierten AWS Glue-Connectors
-
Snowflake (JDBC): Durchführen von Datentransformationen mithilfe von Snowflake und AWS Glue
-
SingleStore: Enwickeln von schnellem ETL mithilfe von SingleStore und AWS Glue
Salesforce: Erfassen von Salesforce-Daten in Amazon S3 mithilfe des benutzerdefinierten CData-JDBC-Connectors mit AWS Glue
- -
Amazon Relational Database Service (Amazon RDS): Entwickeln von AWS Glue Spark-ETL-Aufträgen, indem Sie Ihre eigenen JDBC-Treiber für Amazon RDS verwenden
-
MySQL (JDBC): https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala
AWS Glue-Connectors für den AWS Marketplace entwickeln
Als AWS-Partner können Sie benutzerdefinierte Connectors erstellen, auf den AWS Marketplace hochladen und an Kunden von AWS Glue verkaufen.
Der Prozess zum Entwickeln des Connector-Codes ist der gleiche wie für benutzerdefinierte Connectors, aber der Prozess zum Hochladen und Überprüfen des Connector-Codes ist umfassender. Befolgen Sie die Anweisungen unter Connectors für AWS Marketplace erstellen
