View a markdown version of this page

Selidiki masalah kinerja dengan menggunakan UI Spark -
Identifikasi kemacetan dengan menggunakan UI Spark

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Selidiki masalah kinerja dengan menggunakan UI Spark

Sebelum Anda menerapkan praktik terbaik apa pun untuk menyesuaikan kinerja AWS Glue pekerjaan Anda, kami sangat menyarankan agar Anda membuat profil kinerja dan mengidentifikasi kemacetan. Ini akan membantu Anda fokus pada hal-hal yang benar.

Untuk analisis cepat, CloudWatch metrik Amazon memberikan tampilan dasar metrik pekerjaan Anda. Spark UI memberikan tampilan yang lebih dalam untuk penyetelan kinerja. Untuk menggunakan UI Spark dengan AWS Glue, Anda harus mengaktifkan Spark UI untuk pekerjaan Anda AWS Glue. Setelah Anda terbiasa dengan Spark UI, ikuti strategi untuk menyetel kinerja pekerjaan Spark untuk mengidentifikasi dan mengurangi dampak kemacetan berdasarkan temuan Anda.

Identifikasi kemacetan dengan menggunakan UI Spark

Saat Anda membuka UI Spark, aplikasi Spark tercantum dalam tabel. Secara default, Nama Aplikasi AWS Glue pekerjaan adalahnativespark-<Job Name>-<Job Run ID>. Pilih aplikasi Spark target berdasarkan ID job run untuk membuka tab Jobs. Jalankan pekerjaan yang tidak lengkap, seperti streaming job run, tercantum di Tampilkan aplikasi yang tidak lengkap.

Tab Jobs menunjukkan ringkasan semua pekerjaan di aplikasi Spark. Untuk menentukan setiap tahap atau kegagalan tugas, periksa jumlah total tugas. Untuk menemukan kemacetan, urutkan dengan memilih Durasi. Telusuri detail pekerjaan yang sudah berjalan lama dengan memilih tautan yang ditampilkan di kolom Deskripsi.

Tab Spark Jobs yang menampilkan durasi, tahapansucceeded/total, and tasks succeeded/total.

Halaman Details for Job mencantumkan tahapan. Di halaman ini, Anda dapat melihat wawasan keseluruhan seperti durasi, jumlah tugas yang berhasil dan total, jumlah input dan output, dan jumlah shuffle read dan shuffle write.

""

Tab Executor menunjukkan kapasitas cluster Spark secara detail. Anda dapat memeriksa jumlah total core. Cluster yang ditunjukkan pada tangkapan layar berikut berisi 316 core aktif dan total 512 core. Secara default, setiap inti dapat memproses satu tugas Spark secara bersamaan.

Ringkasan halaman pelaksana yang menunjukkan inti nomor untuk pelaksana.

Berdasarkan nilai yang 5/5 ditunjukkan pada halaman Details for Job, tahap 5 adalah tahap terpanjang, tetapi hanya menggunakan 5 core dari 512. Karena paralelisme untuk tahap ini sangat rendah, tetapi membutuhkan banyak waktu, Anda dapat mengidentifikasinya sebagai hambatan. Untuk meningkatkan kinerja, Anda ingin memahami alasannya. Untuk mempelajari lebih lanjut tentang cara mengenali dan mengurangi dampak kemacetan kinerja umum, lihat Strategi untuk menyetel kinerja pekerjaan Spark.