Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memantau metrik Amazon EMR dengan CloudWatch
Metrik diperbarui setiap lima menit dan secara otomatis dikumpulkan dan didorong ke CloudWatch untuk setiap cluster Amazon EMR. Interval ini tidak dapat dikonfigurasi. Tidak ada biaya untuk metrik Amazon EMR yang dilaporkan di CloudWatch. Metrik titik data lima menit ini diarsipkan selama 63 hari, dan setelahnya data tersebut dibuang.
Bagaimana cara menggunakan metrik Amazon EMR?
Tabel berikut menunjukkan penggunaan umum untuk metrik yang dilaporkan oleh Amazon EMR. Berikut ini adalah saran agar Anda dapat mulai, bukan daftar komprehensif. Untuk daftar lengkap metrik yang dilaporkan oleh Amazon EMR, lihat Metrik yang dilaporkan oleh Amazon EMR di CloudWatch.
| Bagaimana cara saya? | Metrik Terkait |
|---|---|
| Melacak kemajuan klaster saya | Melihat metrik RunningMapTasks, RemainingMapTasks, RunningReduceTasks, dan RemainingReduceTasks. |
| Mendeteksi klaster yang menganggur | Metrik IsIdle melacak apakah klaster sedang siaga, namun bukan merupakan tugas yang sedang berjalan. Anda dapat mengatur alarm untuk berbunyi ketika klaster telah menganggur selama jangka waktu tertentu, seperti tiga puluh menit. |
| Mendeteksi ketika sebuah simpul kehabisan penyimpanan | MRUnhealthyNodes metrik melacak ketika satu atau lebih node inti atau tugas kehabisan penyimpanan disk lokal dan transisi ke UNHEALTHY Keadaan YARN. Misalnya, node inti atau tugas hampir habis ruang disk dan tidak akan dapat menjalankan tugas. |
| Mendeteksi saat cluster kehabisan penyimpanan | HDFSUtilization metrik memantau kapasitas HDFS gabungan cluster, dan dapat memerlukan pengubahan ukuran cluster untuk menambahkan lebih banyak node inti. Misalnya, pemanfaatan HDFS tinggi, yang dapat mempengaruhi pekerjaan dan kesehatan cluster. |
| Mendeteksi saat cluster berjalan pada kapasitas yang berkurang | MRLostNodes metrik melacak ketika satu atau lebih node inti atau tugas tidak dapat berkomunikasi dengan node master. Misalnya, node inti atau tugas tidak dapat dijangkau oleh node master. |
Untuk informasi selengkapnya, lihat Cluster EMR Amazon berakhir dengan NO_SLAVE_LEFT dan node inti FAILED_BY_MASTER dan AWSSupport-AnalyzeEMRLogs.
Akses CloudWatch metrik untuk Amazon EMR
Anda dapat melihat metrik yang dilaporkan Amazon EMR CloudWatch menggunakan konsol Amazon EMR atau CloudWatch konsol. Anda juga dapat mengambil metrik menggunakan CloudWatch perintah CLI mon-get-stats atau CloudWatch GetMetricStatistics API. Untuk informasi selengkapnya tentang melihat atau mengambil metrik untuk Amazon EMR menggunakan CloudWatch, lihat Amazon CloudWatch Panduan Pengguna.
Metrik yang dilaporkan oleh Amazon EMR di CloudWatch
Tabel berikut mencantumkan metrik yang dilaporkan Amazon EMR di konsol dan didorong ke CloudWatch.
Metrik Amazon EMR
Amazon EMR mengirimkan data untuk beberapa metrik ke CloudWatch. Semua klaster Amazon EMR secara otomatis mengirim metrik dalam interval lima menit. Metrik diarsipkan selama dua minggu; setelah periode itu, data akan dibuang.
Namespace AWS/ElasticMapReduce mencakup metrik berikut.
Amazon EMR menarik metrik dari klaster. Jika klaster menjadi tidak terjangkau, tidak ada metrik yang dilaporkan sampai klaster tersebut tersedia kembali.
Metrik berikut tersedia untuk klaster yang menjalankan versi Hadoop 2.x.
| Metrik | Deskripsi |
|---|---|
| Status Cluster | |
IsIdle |
Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan 5 menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean |
ContainerAllocated |
Jumlah wadah sumber daya yang dialokasikan oleh ResourceManager. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerReserved |
Jumlah kontainer yang disimpan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerPending |
Jumlah kontainer dalam antrean yang belum dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerPendingRatio |
Rasio kontainer yang tertunda dengan kontainer yang dialokasikan (ContainerPendingRatio = ContainerPending / ContainerAllocated). Jika ContainerAllocated = 0, maka ContainerPendingRatio = ContainerPending. Nilai ContainerPendingRatio mewakili angka, bukan persentase. Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan perilaku alokasi kontainer. Unit: Jumlah |
AppsCompleted |
Jumlah aplikasi yang dikirimkan ke YARN yang telah selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsFailed |
Jumlah aplikasi yang dikirimkan ke YARN yang gagal diselesaikan. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
AppsKilled |
Jumlah aplikasi yang dikirimkan ke YARN yang telah dimatikan. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
AppsPending |
Jumlah aplikasi yang dikirimkan ke YARN yang berada dalam status tertunda. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsRunning |
Jumlah aplikasi yang dikirimkan ke YARN yang sedang berjalan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsSubmitted |
Jumlah aplikasi yang dikirimkan ke YARN. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
| Status Node | |
CoreNodesRunning |
Jumlah simpul inti yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CoreNodesPending |
Jumlah simpul inti yang menunggu untuk ditugaskan. Semua simpul inti yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveDataNodes |
Persentase simpul data yang menerima pekerjaan dari Hadoop. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
MRTotalNodes |
Jumlah node yang saat ini tersedia untuk MapReduce pekerjaan. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah Catatan: MRTotalNodes hanya menghitung node yang saat ini aktif dalam sistem. YARN secara otomatis menghapus node yang dihentikan dari hitungan ini dan berhenti melacaknya, sehingga mereka tidak dipertimbangkan dalam MRTotalNodes metrik. |
MRActiveNodes |
Jumlah node yang saat ini sedang berjalan MapReduce tugas atau pekerjaan. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MRLostNodes |
Jumlah node yang dialokasikan untuk MapReduce yang telah ditandai dalam keadaan HILANG. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MRUnhealthyNodes |
Jumlah node yang tersedia untuk MapReduce pekerjaan ditandai dalam keadaan TIDAK SEHAT. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MRDecommissionedNodes |
Jumlah node yang dialokasikan untuk MapReduce aplikasi yang telah ditandai dalam keadaan DINONAKTIFKAN. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MRRebootedNodes |
Jumlah node yang tersedia untuk MapReduce yang telah di-boot ulang dan ditandai dalam status REBOOTED. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MultiMasterInstanceGroupNodesRunning |
Jumlah simpul utama yang sedang berjalan. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Jumlah |
MultiMasterInstanceGroupNodesRunningPercentage |
Persentase simpul utama yang berjalan dibandingkan jumlah instans simpul utama yang diminta. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Persen |
MultiMasterInstanceGroupNodesRequested |
Jumlah simpul utama yang diminta. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Jumlah |
| IO | |
S3BytesWritten |
Jumlah byte yang ditulis ke Amazon S3. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
S3BytesRead |
Jumlah byte yang dibaca dari Amazon S3. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSUtilization |
Persentase penyimpanan HDFS yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen |
HDFSBytesRead |
Jumlah byte yang dibaca dari HDFS. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSBytesWritten |
Jumlah byte yang ditulis ke HDFS. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
MissingBlocks |
Jumlah blok yang tidak ada replika HDFS. Ini mungkin blok rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CorruptBlocks |
Jumlah blok yang HDFS laporkan sebagai rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TotalLoad |
Jumlah total transfer data secara bersamaan. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
MemoryTotalMB |
Total jumlah memori dalam klaster. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MemoryReservedMB |
Jumlah memori yang direservasi. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MemoryAvailableMB |
Jumlah memori yang tersedia untuk dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
YARNMemoryAvailablePercentage |
Persentase memori yang tersisa tersedia untuk YARN (YARNMemoryAvailablePercentage = MemoryAvailableMB/ MemoryTotalMB). Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan penggunaan memori YARN. Unit: Persen |
MemoryAllocatedMB |
Jumlah memori yang dialokasikan ke klaster. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
PendingDeletionBlocks |
Jumlah blok yang ditandai untuk dihapus. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
UnderReplicatedBlocks |
Jumlah blok yang perlu direplikasi satu kali atau lebih. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
DfsPendingReplicationBlocks |
Status replikasi blok: blok direplikasi, umur permintaan replikasi, dan permintaan replikasi yang tidak berhasil. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
CapacityRemainingGB |
Jumlah sisa kapasitas disk HDFS. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
Berikut ini adalah metrik Hadoop 1:
| Metrik | Deskripsi |
|---|---|
| Status Cluster | |
IsIdle |
Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan 5 menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean |
JobsRunning |
Jumlah pekerjaan di klaster yang sedang berjalan. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
JobsFailed |
Jumlah pekerjaan di klaster yang telah gagal. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
| Map/Reduce | |
MapTasksRunning |
Jumlah tugas pemetaan yang berjalan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MapTasksRemaining |
Jumlah sisa tugas pemetaan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Tugas pemetaan yang tersisa adalah tugas yang tidak berada dalam salah satu status berikut: Berjalan, Dimatikan, atau Selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MapSlotsOpen |
Kapasitas tugas pemetaan yang tidak terpakai. Ini dihitung sebagai jumlah maksimum tugas pemetaan untuk klaster tertentu, dikurangi jumlah total tugas pemetaan yang saat ini berjalan di klaster tersebut. Kasus penggunaan: Menganalisis performa klaster Unit: Count (Jumlah) |
RemainingMapTasksPerSlot |
Rasio total tugas pemetaan yang tersisa untuk total slot peta yang tersedia di klaster. Kasus penggunaan: Menganalisis performa klaster Unit: Rasio |
ReduceTasksRunning |
Jumlah tugas peredaman yang berjalan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ReduceTasksRemaining |
Jumlah tugas peredaman yang tersisa untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ReduceSlotsOpen |
Kapasitas tugas peredaman yang tidak terpakai. Ini dihitung sebagai kapasitas tugas peredaman maksimal untuk klaster tertentu, dikurangi jumlah tugas peredaman yang saat ini berjalan di klaster tersebut. Kasus penggunaan: Menganalisis performa klaster Unit: Jumlah |
| Status Node | |
CoreNodesRunning |
Jumlah simpul inti yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CoreNodesPending |
Jumlah simpul inti yang menunggu untuk ditugaskan. Semua simpul inti yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveDataNodes |
Persentase simpul data yang menerima pekerjaan dari Hadoop. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
TaskNodesRunning |
Jumlah simpul tugas yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TaskNodesPending |
Jumlah simpul tugas yang menunggu untuk ditugaskan. Semua simpul tugas yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveTaskTrackers |
Persentase pelacak tugas yang fungsional. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
| IO | |
S3BytesWritten |
Jumlah byte yang ditulis ke Amazon S3. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
S3BytesRead |
Jumlah byte yang dibaca dari Amazon S3. Metrik ini mengagregasi MapReduce hanya pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSUtilization |
Persentase penyimpanan HDFS yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen |
HDFSBytesRead |
Jumlah byte yang dibaca dari HDFS. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSBytesWritten |
Jumlah byte yang ditulis ke HDFS. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
MissingBlocks |
Jumlah blok yang tidak ada replika HDFS. Ini mungkin blok rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TotalLoad |
Jumlah pembaca dan penulis saat ini dilaporkan oleh semua DataNodes dalam sebuah cluster. Kasus penggunaan: Diagnosis sejauh mana tingginya I/O mungkin berkontribusi pada kinerja eksekusi pekerjaan yang buruk. Node pekerja yang menjalankan DataNode Daemon juga harus melakukan peta dan mengurangi tugas. Terus tinggi TotalLoad nilai dari waktu ke waktu dapat menunjukkan bahwa tinggi I/O mungkin menjadi faktor yang berkontribusi terhadap kinerja yang buruk. Lonjakan sesekali dalam nilai ini biasa terjadi dan biasanya tidak menunjukkan adanya masalah. Unit: Jumlah |
Metrik kapasitas klaster
Metrik berikut menunjukkan kapasitas saat ini atau kapasitas target suatu klaster. Metrik ini hanya tersedia jika penskalaan terkelola atau penghentian otomatis diaktifkan.
Untuk klaster yang terdiri dari armada instans, metrik kapasitas klaster diukur dalam Units. Untuk klaster yang terdiri dari grup instans, metrik kapasitas klaster diukur dalam Nodes atau VCPU berdasarkan jenis unit yang digunakan dalam kebijakan penskalaan terkelola. Untuk informasi lebih lanjut, lihat Menggunakan EMR-managed penyekalaan di Panduan Manajemen Amazon EMR.
| Metrik | Deskripsi |
|---|---|
|
Target jumlah total units/nodes/vCPU dalam cluster seperti yang ditentukan oleh penskalaan terkelola. Unit: Count (Jumlah) |
|
Jumlah total saat ini units/nodes/vCPU tersedia di cluster yang sedang berjalan. Ketika ada permintaan perubahan ukuran klaster, metrik ini akan diperbarui setelah instans baru ditambahkan atau dihapus dari klaster. Unit: Jumlah |
|
Jumlah target CORE units/nodes/vCPU dalam cluster seperti yang ditentukan oleh penskalaan terkelola. Unit: Count (Jumlah) |
|
Jumlah CORE saat ini units/nodes/vCPU berjalan dalam cluster. Unit: Count (Jumlah) |
|
Jumlah target tugas units/nodes/vCPU dalam cluster seperti yang ditentukan oleh penskalaan terkelola. Unit: Count (Jumlah) |
|
Jumlah TUGAS saat ini units/nodes/vCPU berjalan dalam cluster. Unit: Count (Jumlah) |
Amazon EMR memancarkan metrik berikut dengan perincian satu menit saat Anda mengaktifkan penghentian otomatis menggunakan kebijakan penghentian otomatis. Beberapa metrik hanya tersedia untuk Amazon EMR versi 6.4.0 dan yang lebih baru. Untuk mempelajari selengkapnya tentang penghentian otomatis, lihat Menggunakan kebijakan penghentian otomatis untuk pembersihan cluster Amazon EMR.
| Metrik | Deskripsi |
|---|---|
TotalNotebookKernels |
Jumlah total kernel notebook yang sedang berjalan dan tidak aktif di cluster. Metrik ini hanya tersedia untuk Amazon EMR versi 6.4.0 dan yang lebih baru. |
AutoTerminationIsClusterIdle |
Menunjukkan apakah cluster sedang digunakan. Nilai dari 0 menunjukkan bahwa cluster sedang digunakan secara aktif oleh salah satu komponen berikut:
Nilai dari 1 menunjukkan bahwa cluster sedang idle. Amazon EMR memeriksa kemalasan cluster yang berkelanjutan ( |
Dimensi untuk metrik Amazon EMR
Data Amazon EMR dapat difilter menggunakan salah satu dimensi dalam tabel berikut.
| Dimensi | Deskripsi |
|---|---|
| JobFlowId | Sama seperti ID klaster, yang merupakan pengidentifikasi unik klaster dalam bentuk j-XXXXXXXXXXXXX. Temukan nilai ini dengan mengklik klaster yang dimaksud dalam konsol Amazon EMR. |