Alur Kerja Agen Peningkatan Spark Secara Detail - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Alur Kerja Agen Peningkatan Spark Secara Detail

Untuk memulai proses pemutakhiran, Anda memerlukan kode aplikasi Spark yang dikloning ke lingkungan pengembang Anda (secara lokal atau atau EC2 Amazon SageMaker Unified Studio IDE Spaces), sebaiknya dengan kontrol versi Git yang diinisialisasi. Selain itu, kluster EMR yang menjalankan versi Spark target harus disediakan dan dapat diakses. Terakhir, jalur bucket Amazon S3 yang ditunjuk harus dikonfigurasi untuk menyimpan artefak penerapan dan ringkasan pemutakhiran selama proses pemutakhiran.

Setelah persyaratan ini ditetapkan, Anda dapat mengirimkan prompt seperti berikut untuk memulai alur kerja pemutakhiran:

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

Pada titik ini, agen akan mengatur peningkatan menggunakan alat khusus (untuk lebih jelasnya). Alur kerja mengikuti langkah-langkah ini:

  1. Menghasilkan Rencana: Agen akan menganalisis struktur proyek Anda dan menghasilkan rencana peningkatan. Tinjau rencana dan berikan persetujuan Anda untuk melanjutkan.

  2. Tinjauan dan Kustomisasi Rencana: Ketika diminta untuk meninjau paket, Anda memiliki beberapa opsi:

    1. Lanjutkan apa adanya: Terima rencana dan lanjutkan eksekusi

    2. Berikan umpan balik: Sesuaikan paket dengan:

      1. Menghapus langkah-langkah yang tidak perlu - Contoh: Hapus eksekusi uji integrasi apa pun. Hanya compile/build secara lokal, kemudian lanjutkan ke validasi EMR.

      2. Menambahkan langkah-langkah tambahan - Contoh: Tambahkan langkah untuk menjalankan file uji tests/test_jobs/test_etl_job_x.py sebelum validasi EMR.

      3. Memodifikasi pendekatan pemutakhiran - Contoh: Menerapkan Python 3.10 dan Java 17 selama langkah pembuatan dan validasi.

  3. Agen akan meregenerasi rencana berdasarkan umpan balik Anda dan meminta persetujuan lagi. Proses ini berlanjut sampai Anda menyetujui rencana akhir

  4. Compile and Build: Agen akan membuat perubahan berulang untuk memperbaiki kesalahan build hingga aplikasi berhasil dikompilasi dan dibangun.

  5. Jalankan unit dan Pengujian Integrasi: Jika proyek memiliki pengujian, agen akan menjalankan pengujian setelah build berhasil. Jika ada tes yang gagal, agen akan memodifikasi kode sumber secara iteratif sampai tes lulus sebelum melanjutkan ke validasi EMR.

  6. Perbaikan dan Validasi Runtime: Agen akan memvalidasi aplikasi pada kluster EMR target dan secara berulang memperbaiki kesalahan runtime hingga validasi berhasil. Setelah selesai, Anda akan melihat ringkasan semua perubahan yang dibuat untuk kompatibilitas.

  7. Ringkasan untuk pemutakhiran: Setelah pemutakhiran selesai, agen akan memberikan ringkasan semua perubahan kode dan konfigurasi, pembaruan versi ketergantungan, dan ketidakcocokan kualitas data yang terdeteksi untuk tinjauan Anda.