Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Tutorial: Menggunakan AWS Glue Konektor untuk Elasticsearch
Elasticsearch adalah mesin pencarian dan analitik sumber terbuka populer untuk kasus penggunaan seperti analitik log, pemantauan aplikasi waktu nyata, dan analisis clickstream. Anda dapat menggunakan OpenSearch sebagai penyimpanan data untuk pekerjaan ekstrak, transformasi, dan pemuatan (ETL) Anda dengan mengonfigurasi AWS Glue Konektor untuk Elasticsearch di. AWS Glue Studio Konektor ini tersedia secara gratis dari [AWS Marketplace](https://aws.amazon.com/marketplace/pp/prodview-v5ygernwn2gb6).
**catatan**
[Konektor Spark AWS Marketplace Elasticsearch](https://aws.amazon.com/marketplace/pp/B08PPT2V5J) tidak digunakan lagi. Silakan gunakan [AWS Glue Konektor untuk Elasticsearch](https://aws.amazon.com/marketplace/pp/prodview-v5ygernwn2gb6) sebagai gantinya.
Dalam tutorial ini, kami akan menunjukkan cara menghubungkan ke node OpenSearch Layanan Amazon Anda dengan jumlah langkah minimal.
**Topics**
+ [Prasyarat](#tutorial-prerequisites)
+ [Langkah 1: (Opsional) Buat AWS rahasia untuk informasi OpenSearch cluster Anda](#tutorial-step1)
+ [Langkah 2: Berlangganan ke konektor](#tutorial-step2)
+ [Langkah 3: Aktifkan konektor AWS Glue Studio dan buat koneksi](#tutorial-step3)
+ [Langkah 4: Mengkonfigurasi IAM role untuk tugas ETL Anda](#tutorial-step4)
+ [Langkah 5: Buat pekerjaan yang menggunakan OpenSearch koneksi](#tutorial-step5)
+ [Langkah 6: Menjalankan tugas](#tutorial-step6)
## Prasyarat
Untuk menggunakan tutorial ini, Anda harus memiliki hal-hal berikut ini:
+ Akses ke AWS Glue Studio
+ Akses ke OpenSearch klaster di AWS Cloud
+ (Opsional) Akses ke AWS Secrets Manager.
## Langkah 1: (Opsional) Buat AWS rahasia untuk informasi OpenSearch cluster Anda
Untuk menyimpan dan menggunakan kredensial koneksi Anda dengan aman, simpan kredensial di AWS Secrets Manager. Rahasia yang Anda buat akan digunakan nanti dalam tutorial berdasarkan koneksi. Pasangan nilai kunci kredenal akan dimasukkan ke AWS Glue Konektor untuk Elasticsearch sebagai opsi koneksi normal.
Untuk informasi selengkapnya tentang membuat rahasia, lihat [Membuat dan Mengelola Rahasia dengan AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/managing-secrets.html) di *Panduan Pengguna AWS Secrets Manager *.
**Untuk membuat AWS rahasia**
1. Masuk ke [konsol AWS Secrets Manager](https://console.aws.amazon.com/secretsmanager/) tersebut.
1. Pada halaman pengenalan layanan atau halaman daftar **Rahasia**, pilih **Menyimpan rahasia baru**.
1. Pada halaman **Menyimpan rahasia baru**, pilih **Jenis rahasia lainnya**. Pilihan ini berarti Anda harus menyediakan struktur dan detail rahasia Anda.
1. Tambahkan pasangan **Kunci** dan **Nilai** untuk nama pengguna OpenSearch cluster. Contoh:
`es.net.http.auth.user`: *username*
1. Pilih **\$1 Tambahkan baris**, dan masukkan pasangan nilai-kunci lain untuk kata sandi. Contoh:
`es.net.http.auth.pass`: *password*
1. Pilih **Berikutnya**.
1. Masukkan nama rahasia. Sebagai contoh: **my-es-secret**. Anda dapat menyertakan sebuah deskripsi.
Catat nama rahasia, yang akan digunakan nanti dalam tutorial ini, dan kemudian pilih **Selanjutnya**.
1. Pilih **Selanjutnya** lagi, lalu pilih **Menyimpan** untuk menciptakan rahasia.
### Langkah berikutnya
[Langkah 2: Berlangganan ke konektor](#tutorial-step2)
## Langkah 2: Berlangganan ke konektor
AWS Glue Konektor untuk Elasticsearch tersedia secara gratis. [AWS Marketplace](https://aws.amazon.com/marketplace/pp/prodview-v5ygernwn2gb6#pdp-pricing)
**Untuk berlangganan AWS Glue Konektor untuk Elasticsearch di AWS Marketplace**
1. Jika Anda belum mengonfigurasi AWS akun Anda untuk menggunakan License Manager, lakukan hal berikut:
1. Buka AWS License Manager konsol di [https://console.aws.amazon.com/license-manager](https://console.aws.amazon.com/license-manager).
1. Pilih **Buat lisensi terkelola pelanggan**.
1. **Di jendela **izin IAM (pengaturan satu kali)**, pilih **Saya memberikan izin AWS License Manager yang diperlukan, lalu pilih Hibah izin**.**
Jika Anda tidak melihat jendela ini, maka berarti Anda telah mengkonfigurasi izin yang diperlukan.
1. Buka konsol AWS Glue Studio di [https://console.aws.amazon.com/gluestudio/](https://console.aws.amazon.com/gluestudio/).
1. Di AWS Glue Studio konsol, perluas ikon menu (![\[\]](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/nav-menu-icon.png)), lalu pilih **Konektor** di panel navigasi.
1. Pada halaman **Konektor**, pilih **Buka AWS Marketplace**.
1. Di AWS Marketplace, di bagian **Cari AWS Glue Studio produk**, masukkan **AWS Glue Konektor untuk Elasticsearch** di bidang pencarian, lalu tekan Enter.
1. Pilih nama konektor, **AWS Glue Konektor untuk Elasticsearch**.
1. Pada halaman produk untuk konektor, gunakan tab untuk melihat informasi tentang konektor tersebut. Saat Anda siap melanjutkan, pilih **Lanjutkan ke Berlangganan**.
1. Tinjau ketentuan penggunaan untuk perangkat lunak. Klik **Terima Ketentuan**.
1. Ketika proses berlangganan selesai, Anda akan melihat pemberitahuan: “Terima kasih telah berlangganan produk ini\$1 Anda sekarang dapat mengkonfigurasi perangkat lunak Anda.” Di atas spanduk akan ada tombol **Lanjutkan ke Konfigurasi**. Pilih **Lanjutkan ke Konfigurasi**.
1. Pilih opsi Pemenuhan pada halaman **Konfigurasikan perangkat lunak ini**. Anda dapat memilih antara AWS Glue 1.0/2.0 atau AWS Glue 3.0. Kemudian, pilih **Continue to Launch**.
### Langkah berikutnya
[Langkah 3: Aktifkan konektor AWS Glue Studio dan buat koneksi](#tutorial-step3)
## Langkah 3: Aktifkan konektor AWS Glue Studio dan buat koneksi
Setelah Anda memilih **Lanjutkan untuk Meluncurkan**, Anda melihat halaman **Luncurkan perangkat lunak ini** di AWS Marketplace. Setelah Anda menggunakan tautan untuk mengaktifkan konektor AWS Glue Studio, Anda membuat koneksi.
**Untuk menyebarkan konektor dan membuat koneksi di AWS Glue Studio**
1. Pada halaman **Luncurkan perangkat lunak ini** di AWS Marketplace konsol, pilih **Petunjuk Penggunaan**, lalu pilih tautan di jendela yang muncul.
Browser Anda dialihkan ke AWS Glue Studio konsol **Buat halaman koneksi marketplace**.
1. Masukkan nama untuk koneksi tersebut. Sebagai contoh: **my-es-connection**.
1. Di bagian **Akses koneksi**, untuk **Jenis kredensial koneksi**, pilih **Nama pengguna dan kata sandi**.
1. Untuk **Rahasia AWS **, masukkan nama rahasia Anda. Sebagai contoh: **my-es-secret**.
1. Di bagian **Opsi jaringan**, masukkan informasi VPC untuk terhubung ke OpenSearch cluster.
1. Pilih **Buat koneksi dan aktifkan konektor**.
### Langkah berikutnya
[Langkah 4: Mengkonfigurasi IAM role untuk tugas ETL Anda](#tutorial-step4)
## Langkah 4: Mengkonfigurasi IAM role untuk tugas ETL Anda
Saat Anda membuat pekerjaan AWS Glue ETL, Anda menentukan peran AWS Identity and Access Management (IAM) untuk pekerjaan yang akan digunakan. Peran harus memberikan akses ke semua sumber daya yang digunakan oleh pekerjaan, termasuk Amazon S3 (untuk sumber, target, skrip, file driver, dan direktori sementara), dan juga objek. AWS Glue Data Catalog
Peran IAM yang diasumsikan untuk pekerjaan AWS Glue ETL juga harus memiliki akses ke rahasia yang dibuat di bagian sebelumnya. Secara default, peran terkelola AWS `AWSGlueServiceRole` tidak memiliki akses ke rahasia. Untuk mengatur kendali akses ke rahasia Anda, lihat [Autentikasi dan Kendali Akses AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/auth-and-access.html) dan [Membatasi Akses ke Rahasia Tertentu](https://docs.aws.amazon.com/secretsmanager/latest/userguide/auth-and-access_identity-based-policies.html#permissions_grant-limited-resources).
**Untuk mengkonfigurasi IAM role untuk tugas ETL Anda**
1. Konfigurasikan izin sebagaimana yang dijelaskan di [Tinjau izin IAM yang diperlukan untuk pekerjaan ETL](getting-started-min-privs-job.md).
1. Konfigurasikan izin tambahan yang diperlukan saat menggunakan konektor dengan AWS Glue Studio, seperti yang dijelaskan dalam[Izin diperlukan untuk menggunakan konektor](getting-started-min-privs-job.md#getting-started-min-privs-connectors).
### Langkah berikutnya
[Langkah 5: Buat pekerjaan yang menggunakan OpenSearch koneksi](#tutorial-step5)
## Langkah 5: Buat pekerjaan yang menggunakan OpenSearch koneksi
Setelah membuat peran untuk pekerjaan ETL Anda, Anda dapat membuat pekerjaan AWS Glue Studio yang menggunakan koneksi dan konektor untuk Open Spark ElasticSearch.
Jika tugas Anda berjalan di Amazon Virtual Private Cloud (Amazon VPC), pastikan VPC tersebut dikonfigurasi dengan semestinya. Untuk informasi selengkapnya, lihat [Konfigurasikan VPC untuk pekerjaan ETL Anda](getting-started-vpc-config.md).
**Untuk membuat sebuah tugas yang menggunakan Elasticsearch Spark Connector**
1. Di AWS Glue Studio, pilih **Konektor**.
1. Di daftar **Koneksi Anda**, pilih koneksi yang baru saja Anda buat dan pilih **Buat tugas**.
1. Dalam editor tugas visual, pilih Simpul sumber data. Di sebelah kanan, di tab **Properti sumber data - Konektor**, konfigurasi informasi tambahan untuk konektor.
1. Pilih **Tambahkan skema** dan masukkan skema set data dalam sumber data. Koneksi tidak menggunakan tabel yang disimpan dalam Katalog Data, yang AWS Glue Studio berarti tidak mengetahui skema data. Anda harus memberikan informasi skema ini secara manual. Untuk petunjuk tentang cara menggunakan editor skema, lihat [Mengedit skema di simpul transformasi kustom](transforms-custom.md#transforms-custom-editschema).
1. Perluas **Opsi koneksi**.
1. Pilih **Tambahkan opsi baru** dan masukkan informasi yang diperlukan untuk konektor yang tidak dimasukkan dalam AWS rahasia:
+ **es.nodes**: https://*< OpenSearch * titik akhir domain>
+ **es.port: 443**
+ **jalur**: uji
+ **es.nodes.wan.only**: benar
Untuk penjelasan tentang pilihan koneksi ini, lihat [https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html](https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html).
1. Tambahkan simpul target ke grafik.
Target data Anda bisa berupa Amazon S3, atau dapat menggunakan formulir informasi dari AWS Glue Data Catalog atau konektor untuk menulis data di lokasi yang berbeda. Sebagai contoh, Anda dapat menggunakan tabel Katalog Data untuk menulis ke basis data di Amazon RDS, atau Anda dapat menggunakan konektor sebagai target data Anda untuk menulis ke penyimpanan data yang didukung secara asli di AWS Glue.
Jika Anda memilih sebuah konektor untuk target data Anda, maka Anda harus memilih sebuah koneksi yang dibuat untuk konektor tersebut. Selain itu, jika diperlukan oleh penyedia konektor, Anda harus menambahkan opsi untuk memberikan informasi tambahan ke konektor. Jika Anda menggunakan koneksi yang berisi informasi untuk AWS rahasia, maka Anda tidak perlu memberikan nama pengguna dan otentikasi kata sandi dalam opsi koneksi.
1. Opsional, tambahkan sumber data tambahan dan satu atau beberapa simpul transformasi seperti yang dijelaskan di [Transformasi data dengan transformasi AWS Glue terkelola](edit-jobs-transforms.md).
1. Konfigurasikan properti tugas seperti yang dijelaskan di [Mengubah properti tugas](managing-jobs-chapter.md#edit-jobs-properties), dimulai dengan langkah 3, dan simpan tugas.
### Langkah berikutnya
[Langkah 6: Menjalankan tugas](#tutorial-step6)
## Langkah 6: Menjalankan tugas
Setelah Anda menyimpan tugas Anda, Anda dapat menjalankan tugas untuk melakukan operasi ETL.
**Untuk menjalankan pekerjaan yang Anda buat untuk AWS Glue Connector for Elasticsearch**
1. Menggunakan AWS Glue Studio konsol, pada halaman editor visual, pilih **Jalankan**.
1. Dalam banner keberhasilan, pilih **Detail Eksekusi**, atau Anda dapat memilih tab **Eksekusi** di editor visual untuk melihat informasi tentang eksekusi tugas.