Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengembangkan konektor kustom
Anda dapat menulis kode yang membaca data dari atau menulis data ke penyimpanan data Anda dan memformat data untuk digunakan dengan AWS Glue Studio pekerjaan. Anda dapat membuat konektor untuk penyimpanan data Spark, Athena, dan JDBC. Kode sampel yang diposting di GitHub memberikan gambaran umum tentang antarmuka dasar yang perlu Anda terapkan.
Anda memerlukan lingkungan pengembangan lokal untuk membuat kode konektor Anda. Anda dapat menggunakan IDE atau bahkan hanya editor baris perintah untuk menulis konektor Anda. Contoh lingkungan pengembangan meliputi:
-
Sebuah lingkungan Scala lokal dengan perpustakaan ETL Maven AWS Glue lokal, seperti yang dijelaskan dalam Mengembangkan secara Lokal dengan Scala di AWS Glue Panduan Developer.
-
IntelliJ IDE, dengan mengunduh IDE dari. https://www.jetbrains.com/idea/
Topik
Mengembangkan konektor Spark
Anda dapat membuat konektor Spark dengan Spark DataSource API V2 (Spark 2.4) untuk membaca data.
Untuk membuat konektor Spark khusus
Ikuti langkah-langkah di perpustakaan AWS Glue GitHub sampel untuk mengembangkan konektor Spark, yang terletak di https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/Spark/README.md.
Mengembangkan konektor Athena
Anda dapat membuat konektor Athena untuk digunakan oleh AWS Glue dan AWS Glue Studio untuk menanyakan sumber data kustom.
Untuk membuat konektor Athena kustom
Mengembangkan konektor JDBC
Anda dapat membuat sebuah konektor yang menggunakan JDBC untuk mengakses penyimpanan data Anda.
Untuk membuat sebuah konektor JDBC kustom
-
Instal perpustakaan waktu aktif Spark AWS Glue di lingkungan pengembangan lokal Anda. Lihat instruksi di perpustakaan AWS Glue GitHub sampel di https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md.
-
Menerapkan driver JDBC yang bertanggung jawab untuk mengambil data dari sumber data. Lihat dokumentasi Java
untuk Java SE 8. Buat titik masuk dalam kode Anda yang AWS Glue Studio digunakan untuk menemukan konektor Anda. Bidang Nama kelas harus berupa path lengkap dari driver JDBC Anda.
-
Gunakan API
GlueContextuntuk membaca data dengan konektor. Pengguna dapat menambahkan lebih banyak opsi input di AWS Glue Studio konsol untuk mengonfigurasi koneksi ke sumber data, jika perlu. Untuk contoh kode yang menunjukkan cara membaca dari dan menulis ke database JDBC dengan konektor JDBC kustom, lihat Nilai kustom dan ConnectionType. AWS Marketplace
Contoh menggunakan konektor khusus dengan AWS Glue Studio
Anda dapat merujuk ke blog berikut untuk contoh cara menggunakan konektor kustom:
-
Mengembangkan, menguji, dan menerapkan konektor khusus untuk penyimpanan data Anda dengan AWS Glue
-
Apache Hudi: Menulis ke tabel Apache Hudi menggunakan Konektor Kustom AWS Glue
-
Google BigQuery: Memigrasi data dari Google BigQuery ke Amazon S3 AWS Glue
menggunakan konektor khusus -
Snowflake (JDBC): Melakukan transformasi data menggunakan Snowflake dan AWS Glue
-
SingleStore: Membangun ETL cepat menggunakan SingleStore
dan AWS Glue Salesforce: Menyerap data Salesforce ke Amazon S3 menggunakan konektor kustom JDBC
dengan - CData AWS Glue -
Amazon Relational Database Service (Amazon RDS): Membangun pekerjaan AWS Glue Spark ETL dengan membawa driver JDBC Anda sendiri
untuk Amazon RDS
Mengembangkan AWS Glue konektor untuk AWS Marketplace
Sebagai AWS mitra, Anda dapat membuat konektor khusus dan mengunggahnya AWS Marketplace untuk dijual kepada AWS Glue pelanggan.
Proses untuk mengembangkan kode konektor adalah sama dengan konektor kustom, tetapi proses mengunggah dan memverifikasi kode konektor lebih terperinci. Lihat instruksi dalam Membuat Konektor untuk AWS Marketplace
