Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Fitur dan Kemampuan
Platform yang Didukung
-
Bahasa: Aplikasi Python dan Scala Spark
-
Platform Target: Amazon EMR, EMR Tanpa Server, dan Glue AWS
Cara Kerjanya
Ketika aplikasi Spark Anda gagal, Anda dapat menggunakan agen pemecahan masalah untuk secara otomatis menyelidiki apa yang salah. Ini menganalisis log peristiwa Spark Anda, pesan kesalahan, dan penggunaan sumber daya untuk menentukan masalah yang tepat — apakah itu pelaksana Spark kehabisan memori, kesalahan konfigurasi, atau bug kode.
Saat Anda meminta prompt bahasa alami untuk menganalisis beban kerja Spark Anda, agen terhubung ke sumber daya platform Anda dan mengekstrak fitur (yang mencakup log peristiwa Spark, rencana kueri, jadwal pelaksana, jejak log, konfigurasi, dan metrik):
-
Pada EMR-EC2: terhubung ke EMR Persistent UI untuk cluster
-
On Glue: ini membangun konteks dari Spark UI Glue Studio untuk pekerjaan itu
-
Pada EMR-Serverless: ini terhubung ke EMR-Serverless Spark History Server untuk pekerjaan itu
-
Agen juga menganalisis jejak tumpukan kesalahan dan detail konfigurasi Anda untuk memberi Anda wawasan yang dapat ditindaklanjuti.
Untuk beban kerja yang gagal, Anda mendapatkan penjelasan akar penyebab yang jelas dan langkah-langkah spesifik untuk memperbaikinya. Jika agen mendeteksi masalah terkait kode, agen secara otomatis memberikan rekomendasi kode untuk menunjukkan kepada Anda apa yang harus diubah dalam kode Anda. Anda juga dapat meminta saran tingkat kode secara langsung kapan pun Anda menginginkannya tanpa analisis lengkap.
Wilayah yang Tersedia
Agen Pemecahan Masalah Spark tersedia di wilayah berikut:
-
Asia Pasifik: Tokyo (ap-northeast-1), Seoul (ap-northeast-2), Singapura (ap-southeast-1), Sydney (ap-southeast-2), dan Mumbai (ap-southeast-1)
-
Amerika Utara: Kanada (ca-central-1)
-
Eropa: Stockholm (eu-north-1), Irlandia (eu-west-1), London (eu-west-2), Paris (eu-west-3), dan Frankfurt (eu-central-1)
-
Amerika Selatan: São Paulo (sa-east-1)
-
Amerika Serikat: Virginia Utara (us-east-1), Ohio (us-east-2), dan Oregon (us-west-2)
Lingkup Pemecahan Masalah Spark dan Persyaratan Pengguna
-
Status beban kerja Spark yang didukung: Alat hanya akan mendukung respons untuk beban kerja Spark yang gagal.
-
EMR Persistent UI: Saat menganalisis EC2 beban kerja EMR Amazon, alat analisis akan mencoba terhubung ke EMR Persistent UI untuk mengambil informasi Spark kunci. Pertimbangan EMR Persistent UI didokumentasikan di sini.
-
Glue Studio Spark UI: Saat menganalisis beban kerja AWS Glue, alat analisis akan mencoba mengambil informasi Spark kunci dengan mengurai log peristiwa Spark pengguna dari Amazon S3. Ukuran log peristiwa Spark maksimum yang diizinkan didokumentasikan di sini: 512 MB dan 2 GB untuk log bergulir.
-
Rekomendasi Kode: Hanya didukung untuk beban kerja Amazon EMR- dan EC2 AWS Glue untuk beban kerja PySpark
-
Sumber daya regional: Agen Pemecahan Masalah Spark bersifat regional dan menggunakan sumber daya EMR yang mendasarinya di wilayah tersebut untuk proses pemecahan masalah. Pemecahan masalah lintas wilayah tidak didukung.
