Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memantau metrik Amazon EMR dengan CloudWatch
Metrik diperbarui setiap lima menit dan secara otomatis dikumpulkan dan didorong ke setiap CloudWatch klaster EMR Amazon. Interval ini tidak dapat dikonfigurasi. Tidak ada biaya untuk metrik EMR Amazon yang dilaporkan. CloudWatch Metrik titik data lima menit ini diarsipkan selama 63 hari, dan setelahnya data tersebut dibuang.
Bagaimana cara menggunakan metrik Amazon EMR?
Tabel berikut menunjukkan penggunaan umum untuk metrik yang dilaporkan oleh Amazon EMR. Berikut ini adalah saran agar Anda dapat mulai, bukan daftar komprehensif. Untuk daftar lengkap metrik yang dilaporkan oleh Amazon EMR, lihat Metrik dilaporkan oleh Amazon EMR di CloudWatch.
| Bagaimana cara saya? | Metrik Terkait |
|---|---|
| Melacak kemajuan klaster saya | Melihat metrik RunningMapTasks, RemainingMapTasks, RunningReduceTasks, dan RemainingReduceTasks. |
| Mendeteksi klaster yang menganggur | Metrik IsIdle melacak apakah klaster sedang siaga, namun bukan merupakan tugas yang sedang berjalan. Anda dapat mengatur alarm untuk berbunyi ketika klaster telah menganggur selama jangka waktu tertentu, seperti tiga puluh menit. |
| Mendeteksi ketika sebuah simpul kehabisan penyimpanan | MRUnhealthyNodesMetrik melacak ketika satu atau lebih node inti atau tugas kehabisan penyimpanan disk lokal dan transisi ke status UNHEALTHY YARN. Misalnya, node inti atau tugas kehabisan ruang disk dan tidak akan dapat menjalankan tugas. |
| Mendeteksi ketika cluster kehabisan penyimpanan | HDFSUtilizationMetrik memantau kapasitas HDFS gabungan cluster, dan dapat memerlukan pengubahan ukuran cluster untuk menambahkan lebih banyak node inti. Misalnya, pemanfaatan HDFS tinggi, yang dapat mempengaruhi pekerjaan dan kesehatan cluster. |
| Mendeteksi saat cluster berjalan pada kapasitas yang berkurang | MRLostNodesMetrik melacak ketika satu atau lebih inti atau node tugas tidak dapat berkomunikasi dengan node master. Misalnya, inti atau node tugas tidak dapat dijangkau oleh node master. |
Untuk informasi selengkapnya, lihat Cluster EMR Amazon berakhir dengan NO_SLAVE_LEFT dan node inti FAILED_BY_MASTER dan AWSSupport-AnalyzeEMRLogs.
Akses CloudWatch metrik untuk Amazon EMR
Anda dapat melihat metrik yang dilaporkan Amazon EMR menggunakan CloudWatch konsol Amazon EMR atau konsol. CloudWatch Anda juga dapat mengambil metrik menggunakan perintah CloudWatch mon-get-stats CLI atau API. CloudWatch GetMetricStatistics Untuk informasi selengkapnya tentang melihat atau mengambil metrik untuk Amazon EMR menggunakan, CloudWatch lihat Panduan Pengguna Amazon. CloudWatch
Metrik dilaporkan oleh Amazon EMR di CloudWatch
Tabel berikut mencantumkan metrik yang dilaporkan Amazon EMR di konsol dan mendorong ke. CloudWatch
Metrik Amazon EMR
Amazon EMR mengirimkan data untuk beberapa metrik ke. CloudWatch Semua klaster Amazon EMR secara otomatis mengirim metrik dalam interval lima menit. Metrik diarsipkan selama dua minggu; setelah periode itu, data akan dibuang.
Namespace AWS/ElasticMapReduce mencakup metrik berikut.
catatan
Amazon EMR menarik metrik dari klaster. Jika klaster menjadi tidak terjangkau, tidak ada metrik yang dilaporkan sampai klaster tersebut tersedia kembali.
Metrik berikut tersedia untuk klaster yang menjalankan versi Hadoop 2.x.
| Metrik | Deskripsi |
|---|---|
| Status Cluster | |
IsIdle |
Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan 5 menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean |
ContainerAllocated |
Jumlah wadah sumber daya yang dialokasikan oleh. ResourceManager Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerReserved |
Jumlah kontainer yang disimpan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerPending |
Jumlah kontainer dalam antrean yang belum dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ContainerPendingRatio |
Rasio kontainer yang tertunda dengan kontainer yang dialokasikan (ContainerPendingRatio = ContainerPending / ContainerAllocated). Jika ContainerAllocated = 0, maka ContainerPendingRatio =ContainerPending. Nilai ContainerPendingRatio mewakili angka, bukan persentase. Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan perilaku alokasi kontainer. Unit: Jumlah |
AppsCompleted |
Jumlah aplikasi yang dikirimkan ke YARN yang telah selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsFailed |
Jumlah aplikasi yang dikirimkan ke YARN yang gagal diselesaikan. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
AppsKilled |
Jumlah aplikasi yang dikirimkan ke YARN yang telah dimatikan. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
AppsPending |
Jumlah aplikasi yang dikirimkan ke YARN yang berada dalam status tertunda. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsRunning |
Jumlah aplikasi yang dikirimkan ke YARN yang sedang berjalan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
AppsSubmitted |
Jumlah aplikasi yang dikirimkan ke YARN. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
| Status Node | |
CoreNodesRunning |
Jumlah simpul inti yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CoreNodesPending |
Jumlah simpul inti yang menunggu untuk ditugaskan. Semua simpul inti yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveDataNodes |
Persentase simpul data yang menerima pekerjaan dari Hadoop. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
MRTotalNode |
Jumlah node yang saat ini tersedia untuk MapReduce pekerjaan. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah Catatan: MRTotal Node hanya menghitung node yang saat ini aktif dalam sistem. YARN secara otomatis menghapus node yang dihentikan dari hitungan ini dan berhenti melacaknya, sehingga tidak dipertimbangkan dalam metrik MRTotal Node. |
MRActiveNode |
Jumlah node yang saat ini menjalankan MapReduce tugas atau pekerjaan. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MRLostNode |
Jumlah node yang dialokasikan untuk MapReduce yang telah ditandai dalam keadaan LOST. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MRUnhealthyNode |
Jumlah node yang tersedia untuk MapReduce pekerjaan yang ditandai dalam keadaan TIDAK SEHAT. Setara dengan metrik YARN Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MRDecommissionedNode |
Jumlah node yang dialokasikan untuk MapReduce aplikasi yang telah ditandai dalam keadaan DECOMMISSIONED. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MRRebootedNode |
Jumlah node yang tersedia untuk MapReduce yang telah di-boot ulang dan ditandai dalam status REBOOTED. Setara dengan metrik YARN Kasus penggunaan: Memantau kesehatan klaster, Memantau kemajuan klaster Unit: Jumlah |
MultiMasterInstanceGroupNodesRunning |
Jumlah simpul utama yang sedang berjalan. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Jumlah |
MultiMasterInstanceGroupNodesRunningPercentage |
Persentase simpul utama yang berjalan dibandingkan jumlah instans simpul utama yang diminta. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Persen |
MultiMasterInstanceGroupNodesRequested |
Jumlah simpul utama yang diminta. Kasus penggunaan: Memantau kegagalan dan penggantian simpul utama Unit: Jumlah |
| IO | |
S3 BytesWritten |
Jumlah byte yang ditulis ke Amazon S3. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
S3 BytesRead |
Jumlah byte yang dibaca dari Amazon S3. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSUtilization |
Persentase penyimpanan HDFS yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen |
HDFSBytesBaca |
Jumlah byte yang dibaca dari HDFS. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSBytesDitulis |
Jumlah byte yang ditulis ke HDFS. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
MissingBlocks |
Jumlah blok yang tidak ada replika HDFS. Ini mungkin blok rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CorruptBlocks |
Jumlah blok yang HDFS laporkan sebagai rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TotalLoad |
Jumlah total transfer data secara bersamaan. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
MemoryTotalMB |
Total jumlah memori dalam klaster. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MemoryReservedMB |
Jumlah memori yang direservasi. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MemoryAvailableMB |
Jumlah memori yang tersedia untuk dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
YARNMemoryAvailablePercentage |
Persentase sisa memori yang tersedia untuk YARN (YARNMemoryAvailablePercentage = MemoryAvailable MB/MemoryTotalMB). Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan penggunaan memori YARN. Unit: Persen |
MemoryAllocatedMB |
Jumlah memori yang dialokasikan ke klaster. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
PendingDeletionBlocks |
Jumlah blok yang ditandai untuk dihapus. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
UnderReplicatedBlocks |
Jumlah blok yang perlu direplikasi satu kali atau lebih. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
DfsPendingReplicationBlocks |
Status replikasi blok: blok direplikasi, umur permintaan replikasi, dan permintaan replikasi yang tidak berhasil. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
CapacityRemainingGB |
Jumlah sisa kapasitas disk HDFS. Kasus penggunaan: Memantau kemajuan klaster, Memantau kesehatan klaster Unit: Jumlah |
Berikut ini adalah metrik Hadoop 1:
| Metrik | Deskripsi |
|---|---|
| Status Cluster | |
IsIdle |
Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan 5 menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean |
JobsRunning |
Jumlah pekerjaan di klaster yang sedang berjalan. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
JobsFailed |
Jumlah pekerjaan di klaster yang telah gagal. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
| Peta/Kurangi | |
MapTasksRunning |
Jumlah tugas pemetaan yang berjalan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MapTasksRemaining |
Jumlah sisa tugas pemetaan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Tugas pemetaan yang tersisa adalah tugas yang tidak berada dalam salah satu status berikut: Berjalan, Dimatikan, atau Selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
MapSlotsOpen |
Kapasitas tugas pemetaan yang tidak terpakai. Ini dihitung sebagai jumlah maksimum tugas pemetaan untuk klaster tertentu, dikurangi jumlah total tugas pemetaan yang saat ini berjalan di klaster tersebut. Kasus penggunaan: Menganalisis performa klaster Unit: Count (Jumlah) |
RemainingMapTasksPerSlot |
Rasio total tugas pemetaan yang tersisa untuk total slot peta yang tersedia di klaster. Kasus penggunaan: Menganalisis performa klaster Unit: Rasio |
ReduceTasksRunning |
Jumlah tugas peredaman yang berjalan untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ReduceTasksRemaining |
Jumlah tugas peredaman yang tersisa untuk setiap pekerjaan. Jika Anda memiliki penjadwal terpasang dan beberapa pekerjaan yang sedang berjalan, beberapa grafik akan dihasilkan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah |
ReduceSlotsOpen |
Kapasitas tugas peredaman yang tidak terpakai. Ini dihitung sebagai kapasitas tugas peredaman maksimal untuk klaster tertentu, dikurangi jumlah tugas peredaman yang saat ini berjalan di klaster tersebut. Kasus penggunaan: Menganalisis performa klaster Unit: Jumlah |
| Status Node | |
CoreNodesRunning |
Jumlah simpul inti yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
CoreNodesPending |
Jumlah simpul inti yang menunggu untuk ditugaskan. Semua simpul inti yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveDataNodes |
Persentase simpul data yang menerima pekerjaan dari Hadoop. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
TaskNodesRunning |
Jumlah simpul tugas yang bekerja. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TaskNodesPending |
Jumlah simpul tugas yang menunggu untuk ditugaskan. Semua simpul tugas yang diminta mungkin tidak segera tersedia; metrik ini melaporkan permintaan yang tertunda. Titik data untuk metrik ini hanya dilaporkan apabila grup instans yang sesuai tersedia. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
LiveTaskTrackers |
Persentase pelacak tugas yang fungsional. Kasus penggunaan: Memantau kesehatan klaster Unit: Persen |
| IO | |
S3 BytesWritten |
Jumlah byte yang ditulis ke Amazon S3. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
S3 BytesRead |
Jumlah byte yang dibaca dari Amazon S3. Metrik ini hanya mengumpulkan MapReduce pekerjaan, dan tidak berlaku untuk beban kerja lain di Amazon EMR. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSUtilization |
Persentase penyimpanan HDFS yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen |
HDFSBytesBaca |
Jumlah byte yang dibaca dari HDFS. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
HDFSBytesDitulis |
Jumlah byte yang ditulis ke HDFS. Kasus penggunaan: Menganalisis performa klaster, Memantau kemajuan klaster Unit: Jumlah |
MissingBlocks |
Jumlah blok yang tidak ada replika HDFS. Ini mungkin blok rusak. Kasus penggunaan: Memantau kesehatan klaster Unit: Jumlah |
TotalLoad |
Saat ini, jumlah total pembaca dan penulis yang dilaporkan oleh semua DataNodes dalam satu cluster. Kasus penggunaan: Mendiagnosis sejauh mana tinggi I/O mungkin berkontribusi pada kinerja pelaksanaan pekerjaan yang buruk. Node pekerja yang menjalankan DataNode daemon juga harus melakukan peta dan mengurangi tugas. TotalLoad Nilai tinggi yang terus-menerus dari waktu ke waktu dapat menunjukkan bahwa tinggi I/O mungkin menjadi faktor yang berkontribusi terhadap kinerja yang buruk. Lonjakan sesekali dalam nilai ini biasa terjadi dan biasanya tidak menunjukkan adanya masalah. Unit: Jumlah |
Metrik kapasitas klaster
Metrik berikut menunjukkan kapasitas saat ini atau kapasitas target suatu klaster. Metrik ini hanya tersedia saat penskalaan terkelola atau penghentian otomatis diaktifkan.
Untuk klaster yang terdiri dari armada instans, metrik kapasitas klaster diukur dalam Units. Untuk klaster yang terdiri dari grup instans, metrik kapasitas klaster diukur dalam Nodes atau VCPU berdasarkan jenis unit yang digunakan dalam kebijakan penskalaan terkelola. Untuk informasi selengkapnya, lihat Menggunakan penskalaan terkelola EMR dalam Panduan Pengelolaan Amazon EMR.
| Metrik | Deskripsi |
|---|---|
|
Jumlah total target units/nodes/vCPUs dalam sebuah cluster ditentukan oleh scaling terkelola. Unit: Count (Jumlah) |
|
Jumlah total saat ini yang units/nodes/vCPUs tersedia di cluster yang sedang berjalan. Ketika ada permintaan perubahan ukuran klaster, metrik ini akan diperbarui setelah instans baru ditambahkan atau dihapus dari klaster. Unit: Jumlah |
|
Jumlah target CORE units/nodes/vCPUs dalam cluster ditentukan oleh scaling terkelola. Unit: Count (Jumlah) |
|
Jumlah CORE saat ini units/nodes/vCPUs berjalan dalam sebuah cluster. Unit: Count (Jumlah) |
|
Jumlah target TASK units/nodes/vCPUs dalam klaster yang ditentukan oleh penskalaan terkelola. Unit: Count (Jumlah) |
|
Jumlah TASK saat ini units/nodes/vCPUs berjalan dalam sebuah cluster. Unit: Count (Jumlah) |
Amazon EMR memancarkan metrik berikut dengan perincian satu menit saat Anda mengaktifkan penghentian otomatis menggunakan kebijakan penghentian otomatis. Beberapa metrik hanya tersedia untuk Amazon EMR versi 6.4.0 dan yang lebih baru. Untuk mempelajari lebih lanjut tentang penghentian otomatis, lihatMenggunakan kebijakan penghentian otomatis untuk pembersihan klaster EMR Amazon.
| Metrik | Deskripsi |
|---|---|
TotalNotebookKernels |
Jumlah total kernel notebook yang berjalan dan idle di cluster. Metrik ini hanya tersedia untuk Amazon EMR versi 6.4.0 dan yang lebih baru. |
AutoTerminationIsClusterIdle |
Menunjukkan apakah cluster sedang digunakan. Nilai 0 menunjukkan bahwa cluster digunakan secara aktif oleh salah satu komponen berikut:
Nilai 1 menunjukkan bahwa cluster menganggur. Amazon EMR memeriksa kemalasan cluster berkelanjutan ( |
Dimensi untuk metrik Amazon EMR
Data Amazon EMR dapat difilter menggunakan salah satu dimensi dalam tabel berikut.
| Dimensi | Deskripsi |
|---|---|
| JobFlowId | Sama seperti ID klaster, yang merupakan pengidentifikasi unik klaster dalam bentuk j-XXXXXXXXXXXXX. Temukan nilai ini dengan mengklik klaster yang dimaksud dalam konsol Amazon EMR. |
