Koneksi REST API - AWS Glue
Membuat tipe koneksi REST di AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Koneksi REST API

AWS Glue konektor mencakup berbagai sumber data baik AWS maupun eksternal. Namun, mungkin ada sistem berpemilik atau platform yang muncul yang tidak didukung oleh AWS Glue konektor asli. Konektor AWS Glue REST menyediakan mekanisme untuk mengonfigurasi konektor yang disesuaikan untuk sumber data apa pun yang memiliki API berbasis REST yang kemudian bekerja dengan cara yang sama seperti konektor yang didukung AWS Glue secara asli. Kemampuan ini meminimalkan kebutuhan untuk membangun pustaka kustom atau skrip ETL untuk mengakses sumber data ini.

Untuk mengaktifkan konektor REST API, AWS Glue telah memperkenalkan AWS sumber daya baru - Jenis Koneksi. Operasi berikut dapat digunakan untuk mengelola konektivitas ke sumber data berbasis REST API:

  • RegisterConnectionType- Mendaftarkan Jenis Koneksi AWS Glue berdasarkan konfigurasi yang disediakan. Untuk struktur permintaan, Lihat RegisterConnectionType.

  • DeleteConnectionType- Menghapus konfigurasi Jenis Koneksi di AWS Glue. Lihat DeleteConnectionType.

  • DescribeConnectionType- Mengembalikan rincian lengkap dari opsi yang didukung untuk jenis koneksi tertentu di AWS Glue. Lihat DescribeConnectionType.

  • ListConnectionTypes- Mengembalikan daftar jenis koneksi dengan rincian tingkat tinggi dari apa yang didukung untuk setiap jenis AWS Glue koneksi. Lihat ListConnectionTypes.

Membuat tipe koneksi REST di AWS Glue

Untuk membuat jenis koneksi REST, gunakan AWS CLI, AWS SDK atau AWS API untuk menjalankan API. RegisterConnectionType Detail konfigurasi disediakan berdasarkan REST API yang terhubung.

catatan

Koneksi REST tidak dapat dibuat menggunakan AWS Glue konsol

Prasyarat

Sebelum mencoba mengonfigurasi konektor AWS Glue REST API Anda, Anda harus membiasakan diri dengan cara kerja internal REST API. Ini membantu jika Anda memiliki dokumentasi REST API untuk sumber data dan alat untuk memeriksa struktur permintaan/respons.

Properti REST API berikut harus diidentifikasi:

  • Mekanisme otentikasi yang digunakan untuk panggilan yang dilakukan ke titik akhir REST. AWS Glue Dukungan konektor REST API: otentikasi dasar, OAuth2 - ClientCredentials, - Kode Otorisasi, OAuth2 OAuth2 - JWT dan otentikasi khusus.

  • Entitas (objek data) yang dapat Anda transfer melalui titik akhir REST dan metadata terkait (seperti nama bidang dan tipe data).

  • Permintaan HTTP dan struktur respons. Struktur ini mencakup metode HTTP, URL endpoint, header, parameter kueri, dan format badan permintaan dan payload respons.

  • Skema pagination. AWS Glue Konektor REST API mendukung dua skema pagination: cursor-based dan offset-based pagination.

RegisterConnectionType

Mendaftarkan ConnectionType in AWS Glue berdasarkan konfigurasi yang disediakan. ConnectionType Sumber daya adalah sumber AWS Glue daya baru yang menyimpan detail tentang bagaimana permintaan dan tanggapan ditafsirkan oleh sumber data. Saat ini, hanya protokol REST yang didukung. Ini merangkum detail tentang sumber REST API seperti:

  • Properti koneksi - Mendefinisikan BaseUrl untuk terhubung ke REST API dan parameter permintaan tambahan apa pun yang diperlukan untuk mengambil input selama AWS Glue CreateConnection.

  • Konfigurasi otentikasi - Mendefinisikan bagaimana permintaan ke REST API diautentikasi. Konfigurasi ini digunakan saat membuat AWS Glue Koneksi untuk Jenis Koneksi.

  • Konfigurasi REST - Mendefinisikan permintaan HTTP dan konfigurasi respons untuk membaca data dari sumber REST API. Properti berikut perlu dikonfigurasi baik di tingkat Global atau Entity:

    • Metode permintaan - Mendefinisikan Metode HTTP REST.

    • Konfigurasi respons - Mendefinisikan bagaimana respons API harus ditafsirkan (termasuk lokasi Rekaman atau Kesalahan di badan).

    • Konfigurasi pagination - Mendefinisikan strategi yang digunakan REST API untuk paginasi catatan yang dihasilkan dan bagaimana properti pagination akan dikirim/diambil.

    • Konfigurasi titik akhir validasi - Mendefinisikan titik akhir yang akan dipanggil untuk memvalidasi koneksi. AWS Glue

    • Konfigurasi entitas - Mendefinisikan entitas REST yang didukung konektor dan skema mereka.

RegisterConnectionType Permintaan Sintaks

Lihat RegisterConnectionType

Setelah jenis koneksi REST API telah terdaftar, itu siap digunakan untuk membuat koneksi ke sumber data yang dikonfigurasi. Lihat Menghubungkan ke REST APIs untuk instruksi terperinci.