Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menyiapkan spark-submit untuk Amazon EMR di EKS
Selesaikan tugas-tugas berikut untuk menyiapkan sebelum Anda dapat menjalankan aplikasi dengan spark-submit di Amazon EMR di EKS. Jika Anda sudah mendaftar untuk Amazon Web Services (AWS) dan telah menggunakan Amazon EKS, Anda hampir siap untuk menggunakan Amazon EMR di EKS. Jika Anda telah menyelesaikan salah satu prasyarat, Anda dapat melewatinya dan melanjutkan ke yang berikutnya.
-
Instal atau perbarui ke versi terbaru AWS CLI - Jika Anda sudah menginstal AWS CLI, konfirmasikan bahwa Anda memiliki versi terbaru.
-
Siapkan kubectl dan eksctl - eksctl adalah alat baris perintah yang Anda gunakan untuk berkomunikasi dengan Amazon EKS.
-
Memulai Amazon EKS — eksctl — Ikuti langkah-langkah untuk membuat cluster Kubernetes baru dengan node di Amazon EKS.
-
Pilih URI gambar dasar EMR Amazon (rilis 6.10.0 atau lebih tinggi) —
spark-submitperintah ini didukung dengan rilis Amazon EMR 6.10.0 dan yang lebih tinggi. -
Konfirmasikan bahwa akun layanan driver memiliki izin yang sesuai untuk membuat dan menonton pod pelaksana. Untuk informasi selengkapnya, lihat Verifikasi persyaratan keamanan akun layanan driver Spark untuk pengiriman spark.
-
Siapkan profil AWS kredensial lokal Anda.
-
Dari konsol Amazon EKS, pilih kluster EKS Anda, lalu temukan titik akhir klaster EKS, yang terletak di bawah Ikhtisar, Detail, lalu titik akhir server API.
