Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Alur Kerja Agen Pemecahan Masalah Spark dalam Detail
Untuk memulai proses pemecahan masalah, Anda memerlukan akses ke pengidentifikasi aplikasi Spark yang gagal berjalan pada platform yang didukung (EMR-, EMR Tanpa Server, Glue, atau EC2 Notebook Data Amazon). AWS SageMaker Aplikasi harus memiliki log yang dapat diakses, Spark History Server, dan detail konfigurasi. Pastikan Anda memiliki izin yang diperlukan untuk mengakses sumber daya platform dan metadata aplikasi. Setelah persyaratan ini ditetapkan, Anda dapat mengirimkan prompt seperti berikut untuk memulai alur kerja pemecahan masalah:
Analyze my EMR step execution failure, EMR id <step-id> with cluster id <cluster-id>
Pada titik ini, agen akan mengatur pemecahan masalah menggunakan alat khusus. Alur kerja mengikuti langkah-langkah ini:
-
Ekstraksi Fitur dan Pembuatan Konteks: Agen secara otomatis mengumpulkan dan menganalisis data telemetri dari aplikasi Spark Anda termasuk log Server Sejarah, pengaturan konfigurasi, dan jejak kesalahan. Anda akan melihat alat mengumpulkan informasi tentang metrik kinerja, pola pemanfaatan sumber daya, dan tanda tangan kegagalan.
-
Analisis dan Identifikasi Akar Penyebab: Agen memanfaatkan model AI dan basis pengetahuan Spark untuk mengkorelasikan fitur yang diekstraksi dan mengidentifikasi akar penyebab masalah atau kegagalan kinerja. Anda akan menerima:
-
Analisis Wawasan: Rincian teknis tentang apa yang ditemukan dan dianalisis agen.
-
Akar Penyebab: Penjelasan yang jelas tentang apa yang salah dan mengapa.
-
Penilaian Awal: Apakah masalah terkait kode, terkait konfigurasi, atau terkait sumber daya, beberapa panduan dan analisis umum akan disediakan untuk mitigasi.
-
-
Rekomendasi Kode (jika berlaku): Jika analisis mengidentifikasi masalah terkait kode berdasarkan klasifikasi kesalahan, agen dapat menyarankan untuk memanfaatkan alat rekomendasi kode untuk memberikan rekomendasi spesifik untuk mengimplementasikan perbaikan kode yang direkomendasikan dengan kode yang tepat bersama dengan penggantian yang before/after disarankan.
Proses pemecahan masalah bersifat berulang - Anda dapat melanjutkan percakapan untuk menyelam lebih dalam ke masalah tertentu; Anda juga dapat menggunakan alat secara interaktif dalam pengembangan kode Spark lokal kami untuk mengatasi bug kode atau meningkatkan kode Anda secara terus menerus.
