Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Sviluppo di connettori personalizzati
Puoi scrivere il codice che legge o scrive i dati nel datastore e formatta i dati per l'utilizzo con i processi AWS Glue Studio. Puoi creare connettori per datastore Spark, Athena e JDBC. Il codice di esempio pubblicato su GitHub fornisce una panoramica delle interfacce di base da implementare.
Per creare il codice del connettore è necessario un ambiente di sviluppo locale. Puoi usare qualsiasi IDE o anche solo un editor della riga di comando per scrivere il connettore. Esempi di ambienti di sviluppo includono:
-
Un ambiente Scala locale con una libreria Maven ETL AWS Glue locale, come descritto in Sviluppo in locale con Scala nella Guida per gli sviluppatori di AWS Glue.
-
IntelliJ IDE, scaricando l'IDE da https://www.jetbrains.com/idea/
.
Argomenti
Sviluppo dei connettori Spark
Puoi creare un connettore Spark con l'API Spark DataSource V2 (Spark 2.4) per leggere i dati.
Per creare un connettore Spark personalizzato
Segui la procedura riportata nella libreria di esempio GitHub di AWS Glue per lo sviluppo di connettori Spark all'indirizzo https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md
Sviluppo di connettori Athena
Puoi creare un connettore Athena utilizzabile da AWS Glue e AWS Glue Studio per eseguire query su un'origine dati personalizzata.
Per creare un connettore Athena personalizzato
Segui la procedura riportata nella libreria di esempio GitHub di AWS Glue per lo sviluppo di connettori Athena all'indirizzo https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Athena
Sviluppo di connettori JDBC
Puoi creare un connettore che utilizza JDBC per accedere ai datastore.
Per creare un connettore JDBC personalizzato
-
Installa le librerie runtime Spark AWS Glue nel tuo ambiente di sviluppo locale. Consulta le istruzioni riportate nella libreria di esempio GitHub di AWS Glue all'indirizzo https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md
. -
Implementa il driver JDBC responsabile del recupero dei dati dall'origine dati. Fai riferimento alla documentazione Java
per Java SE 8. Crea un punto di ingresso all'interno del tuo codice che AWS Glue Studio utilizza per individuare il connettore. Il campo Class name (Nome classe) dovrebbe essere il percorso completo del driver JDBC.
-
Usa l'API
GlueContextper leggere i dati con il connettore. Se necessario, gli utenti possono aggiungere altre opzioni di input nella console AWS Glue Studio per configurare la connessione all'origine dati. Per un esempio di codice che mostra come leggere e scrivere in un database JDBC con un connettore JDBC personalizzato, consulta Valori di personalizzazione e connectionType Marketplace AWS.
Esempi di utilizzo di connettori personalizzati con AWS Glue Studio
Fai riferimento ai seguenti blog per esempi di utilizzo di connettori personalizzati:
-
Sviluppo, test e implementazione di connettori personalizzati per gli archivi dati con AWS Glue
-
Apache Hudi: Scrittura in tabelle Apache Hudi usando il connettore personalizzato AWS Glue
-
Google BigQuery: Migrazione di dati da Google BigQuery a Amazon S3 con i connettori personalizzati AWS Glue
-
Snowflake (JDBC): Esecuzione di trasformazione dati con Snowflake e AWS Glue
-
SingleStore: Creazione di un ETL veloce con SingleStore e AWS Glue
Salesforce: Acquisizione di dati Salesforce in Amazon S3 con il connettore personalizzato CData JDBC con AWS Glue
- -
MongoDB: Creazione di processi AWS Glue Spark ETL con Amazon DocumentDB (con compatibilità MongoDB) e MongoDB
-
Amazon Relational Database Service (Amazon RDS): Creazione di processi AWS Glue Spark ETL con i propri driver JDBC per Amazon RDS
-
MySQL (JDBC): https://github.com/aws-samples/aws-glue-samples/blob/master/GlueCustomConnectors/development/Spark/SparkConnectorMySQL.scala
Sviluppo di connettori AWS Glue per Marketplace AWS
In qualità di partner AWS, puoi creare connettori personalizzati e caricarli su Marketplace AWS per la vendita ai clienti AWS Glue.
Il processo per lo sviluppo del codice del connettore è lo stesso dei connettori personalizzati, ma il processo di caricamento e verifica del codice del connettore è più dettagliato. Fai riferimento alle istruzioni riportate in Creating Connectors for Marketplace AWS
