Pemecahan masalah AI generatif untuk Apache Spark in Glue AWS - AWSGlue
Bagaimana cara kerja Pemecahan Masalah Generatif AI untuk Apache Spark?Menyiapkan Pemecahan Masalah AI Generatif untuk Apache Spark untuk pekerjaan AndaMenjalankan analisis pemecahan masalah dari pekerjaan yang gagalKategori pemecahan masalah yang didukungWilayah yang didukung

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemecahan masalah AI generatif untuk Apache Spark in Glue AWS

Pemecahan Masalah AI Generatif untuk pekerjaan Apache Spark di AWS Glue adalah kemampuan baru yang membantu insinyur data dan ilmuwan mendiagnosis dan memperbaiki masalah dalam aplikasi Spark mereka dengan mudah. Memanfaatkan pembelajaran mesin dan teknologi AI generatif, fitur ini menganalisis masalah dalam pekerjaan Spark dan memberikan analisis akar penyebab terperinci bersama dengan rekomendasi yang dapat ditindaklanjuti untuk menyelesaikan masalah tersebut. Pemecahan masalah AI generatif untuk Apache Spark tersedia untuk pekerjaan yang berjalan di AWS Glue versi 4.0 dan yang lebih baru.

Ubah pemecahan masalah Apache Spark Anda dengan Agen Pemecahan Masalah bertenaga AI kami, sekarang mendukung semua mode penerapan utama termasuk Glue, Amazon EMR-, Amazon EMR-Serverless, dan AWS Amazon AI Notebook. EC2 SageMaker Agen yang kuat ini menghilangkan proses debugging yang kompleks dengan menggabungkan interaksi bahasa alami, analisis beban kerja waktu nyata, dan rekomendasi kode cerdas menjadi pengalaman yang mulus. Untuk detail implementasi, lihat Apa itu Agen Pemecahan Masalah Apache Spark untuk Amazon EMR. Lihat demonstrasi kedua di Menggunakan contoh pemecahan masalah Agen Pemecahan Masalah untuk AWS Glue.

Bagaimana cara kerja Pemecahan Masalah Generatif AI untuk Apache Spark?

Untuk pekerjaan Spark Anda yang gagal, Pemecahan Masalah Generatif AI menganalisis metadata pekerjaan dan metrik serta log tepat yang terkait dengan tanda tangan kesalahan pekerjaan Anda untuk menghasilkan analisis akar penyebab, dan merekomendasikan solusi dan praktik terbaik khusus untuk membantu mengatasi kegagalan pekerjaan.

Menyiapkan Pemecahan Masalah AI Generatif untuk Apache Spark untuk pekerjaan Anda

Mengonfigurasi izin IAM

Memberikan izin untuk yang APIs digunakan oleh Spark Troubleshooting untuk pekerjaan Anda di AWS Glue memerlukan izin IAM yang sesuai. Anda dapat memperoleh izin dengan melampirkan AWS kebijakan kustom berikut ke identitas IAM Anda (seperti pengguna, peran, atau grup).

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "glue:StartCompletion",
        "glue:GetCompletion"
      ],
      "Resource": [
        "arn:aws:glue:*:*:completion/*",
        "arn:aws:glue:*:*:job/*"
      ]
    }
  ]
}
catatan

Dua berikut ini APIs digunakan dalam kebijakan IAM untuk mengaktifkan pengalaman ini melalui AWS Glue Studio Console: StartCompletion dan. GetCompletion

Menetapkan izin

Untuk memberikan akses dan menambahkan izin bagi pengguna, grup, atau peran Anda:

Menjalankan analisis pemecahan masalah dari pekerjaan yang gagal

Anda dapat mengakses fitur pemecahan masalah melalui beberapa jalur di konsol AWS Glue. Berikut cara memulai:

Opsi 1: Dari halaman Daftar Pekerjaan

  1. Buka konsol AWS Glue di https://console.aws.amazon.com/glue/.

  2. Di panel navigasi, pilih ETL Jobs.

  3. Temukan pekerjaan Anda yang gagal di daftar pekerjaan.

  4. Pilih tab Runs di bagian detail pekerjaan.

  5. Klik pada tugas gagal yang ingin Anda analisis.

  6. Pilih Troubleshoot dengan AI untuk memulai analisis.

  7. Saat analisis pemecahan masalah selesai, Anda dapat melihat analisis akar penyebab dan rekomendasi di tab Analisis pemecahan masalah di bagian bawah layar.

GIF menunjukkan implementasi ujung ke ujung dari proses yang gagal dan pemecahan masalah dengan fitur AI yang berjalan.

Opsi 2: Menggunakan halaman Job Run Monitoring

  1. Arahkan ke halaman pemantauan Job run.

  2. Temukan pekerjaan Anda yang gagal dijalankan.

  3. Pilih menu tarik-turun Tindakan.

  4. Pilih Troubleshoot dengan AI.

GIF menunjukkan implementasi ujung ke ujung dari proses yang gagal dan pemecahan masalah dengan fitur AI yang berjalan.

Opsi 3: Dari halaman Detail Job Run

  1. Arahkan ke halaman detail job run yang gagal dengan mengklik Lihat detail pada proses gagal dari tab Runs atau memilih pekerjaan yang dijalankan dari halaman pemantauan Job run.

  2. Di halaman rincian pekerjaan, temukan tab Analisis pemecahan masalah.

Kategori pemecahan masalah yang didukung

Layanan ini berfokus pada tiga kategori utama masalah yang sering dihadapi oleh insinyur dan pengembang data dalam aplikasi Spark mereka:

  • Penyiapan sumber daya dan kesalahan akses: Saat menjalankan aplikasi Spark di AWS Glue, pengaturan sumber daya dan kesalahan akses adalah salah satu masalah yang paling umum namun menantang untuk didiagnosis. Kesalahan ini sering terjadi ketika aplikasi Spark Anda mencoba berinteraksi dengan AWS sumber daya tetapi mengalami masalah izin, sumber daya yang hilang, atau masalah konfigurasi.

  • Masalah driver Spark dan memori pelaksana: Kesalahan terkait memori dalam pekerjaan Apache Spark bisa rumit untuk didiagnosis dan diselesaikan. Kesalahan ini sering muncul ketika persyaratan pemrosesan data Anda melebihi sumber daya memori yang tersedia, baik pada node driver atau node pelaksana.

  • Masalah kapasitas disk percikan: Kesalahan terkait penyimpanan dalam pekerjaan AWS Glue Spark sering muncul selama operasi shuffle, tumpahan data, atau saat berhadapan dengan transformasi data skala besar. Kesalahan ini bisa sangat rumit karena mungkin tidak terwujud sampai pekerjaan Anda berjalan untuk sementara waktu, berpotensi membuang-buang waktu dan sumber daya komputasi yang berharga.

  • Kesalahan eksekusi kueri: Kegagalan kueri di Spark SQL dan DataFrame operasi bisa sulit untuk dipecahkan karena pesan kesalahan mungkin tidak secara jelas mengarah ke akar penyebabnya, dan kueri yang berfungsi dengan baik dengan kumpulan data kecil tiba-tiba gagal dalam skala besar. Kesalahan ini menjadi lebih menantang ketika terjadi jauh di dalam jalur transformasi yang kompleks, di mana masalah sebenarnya mungkin berasal dari masalah kualitas data pada tahap awal daripada logika kueri itu sendiri.

catatan

Sebelum menerapkan perubahan yang disarankan di lingkungan produksi Anda, tinjau perubahan yang disarankan secara menyeluruh. Layanan ini memberikan rekomendasi berdasarkan pola dan praktik terbaik, tetapi kasus penggunaan spesifik Anda mungkin memerlukan pertimbangan tambahan.

Wilayah yang didukung

Pemecahan masalah AI generatif untuk Apache Spark tersedia di wilayah berikut:

  • Afrika: Cape Town (af-south-1)

  • Asia Pasifik: Hong Kong (ap-east-1), Tokyo (ap-northeast-1), Seoul (ap-northeast-2), Osaka (ap-northeast-3), Mumbai (ap-south-1), Singapura (ap-south-1) Sydney (ap-southeast-2), dan Jakarta (ap-southeast-3)

  • Eropa: Frankfurt (eu-central-1), Stockholm (eu-north-1), Milan (eu-south-1), Irlandia (eu-west-1), London (eu-west-2), dan Paris (eu-west-3)

  • Timur Tengah: Bahrain (me-south-1) dan UEA (me-central-1)

  • Amerika Utara: Kanada (ca-central-1)

  • Amerika Selatan: São Paulo (sa-east-1)

  • Amerika Serikat: Virginia Utara (us-east-1), Ohio (us-east-2), California Utara (us-west-1), dan Oregon (us-west-2)