Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Entwickeln von benutzerdefinierten Connectors
Sie können den Code schreiben, der Daten aus dem Datenspeicher liest oder in den Datenspeicher schreibt und für die Verwendung mit AWS Glue Studio-Aufträgen formatiert. Sie können Connectors für Spark, Athena und JDBC-Datenspeicher erstellen. Der auf veröffentlichte Beispielcode GitHub bietet einen Überblick über die grundlegenden Schnittstellen, die Sie implementieren müssen.
Sie benötigen eine lokale Entwicklungsumgebung, um Ihren Connector-Code zu erstellen. Sie können eine beliebige IDE oder sogar nur einen Befehlszeileneditor verwenden, um Ihren Connector zu schreiben. Beispiele für Entwicklungsumgebungen:
-
Eine lokale Scala-Umgebung mit einer lokalen AWS Glue-ETL-Maven-Bibliothek, wie unter Lokale Entwicklung mit Scala im AWS Glue -Entwicklerhandbuch beschrieben.
-
IntelliJ IDE, indem Sie die IDE von herunterladen. https://www.jetbrains.com/idea/
Themen
Entwickeln von Spark-Connectors
Sie können mit Spark DataSource API V2 (Spark 2.4) einen Spark-Konnektor zum Lesen von Daten erstellen.
Erstellen Sie einen benutzerdefinierten Spark-Connector wie folgt
Folgen Sie den Schritten in der AWS Glue GitHub Beispielbibliothek für die Entwicklung von Spark-Konnektoren, die sich unter https://github.com/aws-samples/aws-glue-samplestree/master/GlueCustomConnectors/development/Spark/README/.md
Entwickeln von Athena-Connectors
Sie können einen Athena-Connector erstellen, der von AWS Glue und AWS Glue Studio zur Abfrage einer benutzerdefinierten Datenquelle verwendet wird.
Erstellen Sie einen benutzerdefinierten Athena-Connector wie folgt
Folgen Sie den Schritten in der AWS Glue GitHub Beispielbibliothek für die Entwicklung von Athena-Konnektoren, die sich unter https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena
Entwickeln von JDBC-Connectors
Sie können einen Connector erstellen, der JDBC verwendet, um auf Ihre Datenspeicher zuzugreifen.
Einen benutzerdefinierten JDBC-Connector erstellen
-
Installieren Sie die AWS Glue-Spark-Laufzeitbibliotheken in Ihrer lokalen Entwicklungsumgebung. Weitere Informationen finden Sie in der AWS Glue GitHub Beispielbibliothek unter https://github.com/aws-samples/aws-glue-samplestree/master/GlueCustomConnectors/development/GlueSparkRuntime/README/.md.
-
Implementieren Sie den JDBC-Treiber, der für das Abrufen der Daten aus der Datenquelle verantwortlich ist. Weitere Informationen finden Sie in der Java-Dokumentation
für Java SE 8. Erstellen Sie einen Einstiegspunkt in Ihrem Code, den AWS Glue Studio verwendet, um Ihren Connector zu finden. Das Feld Class name (Klassenname) sollte der vollständige Pfad Ihres JDBC-Treibers sein.
-
Verwenden Sie die
GlueContext-API, um Daten mit dem Connector zu lesen. Benutzer können weitere Eingabeoptionen in der AWS Glue Studio-Konsole hinzufügen, um gegebenenfalls die Verbindung zur Datenquelle zu konfigurieren. Ein Codebeispiel, das zeigt, wie mit einem benutzerdefinierten JDBC-Connector aus einer JDBC-Datenbank gelesen und in eine JDBC-Datenbank geschrieben wird, finden Sie unter Custom- und ConnectionType-Werte. AWS Marketplace
Beispiele für die Verwendung von benutzerdefinierten Connectors mit AWS Glue Studio
Beispiele für die Verwendung von benutzerdefinierten Connectors finden Sie in den folgenden Blogs:
-
Apache Hudi: Schreiben in Apache Hudi-Tabellen mithilfe des benutzerdefinierten AWS Glue-Connectors
-
Google BigQuery: Migrieren von Daten von Google BigQuery zu Amazon S3 mithilfe AWS Glue benutzerdefinierter Konnektoren
-
Snowflake (JDBC): Durchführen von Datentransformationen mithilfe von Snowflake und AWS Glue
-
SingleStore: Aufbau von schnellem ETL mit SingleStore
und AWS Glue Salesforce: Investieren Sie Salesforce-Daten mithilfe des benutzerdefinierten CData JDBC-Connectors in Amazon S3 mit
- AWS Glue -
Amazon Relational Database Service (Amazon RDS): Erstellen Sie AWS Glue Spark-ETL-Jobs, indem Sie Ihre eigenen JDBC-Treiber für
Amazon RDS mitbringen
AWS GlueEntwicklung von Konnektoren für AWS Marketplace
Als AWS Partner können Sie benutzerdefinierte Konnektoren erstellen und diese hochladen, AWS Marketplace um sie an AWS Glue Kunden zu verkaufen.
Der Prozess zum Entwickeln des Connector-Codes ist der gleiche wie für benutzerdefinierte Connectors, aber der Prozess zum Hochladen und Überprüfen des Connector-Codes ist umfassender. Weitere Informationen finden Sie in den Anweisungen unter Konnektoren erstellen für AWS Marketplace
