Pemantauan pembaruan rilis metrik Pemantauan tingkat aplikasi Pemantauan tingkat pekerjaan Pemantauan tingkat pekerja Job

Memantau aplikasi dan pekerjaan EMR Tanpa Server

Dengan CloudWatch metrik Amazon untuk EMR Tanpa Server, Anda dapat menerima metrik CloudWatch 1 menit dan CloudWatch mengakses dasbor untuk melihat near-real-time operasi dan kinerja aplikasi EMR Tanpa Server Anda.

EMR Tanpa Server mengirimkan metrik ke setiap menit. CloudWatch EMR Tanpa Server memancarkan metrik ini di tingkat aplikasi serta pekerjaan, tipe pekerja, dan level. capacity-allocation-type

Untuk memulai, gunakan templat CloudWatch dasbor EMR Tanpa Server yang disediakan di repositori EMR Tanpa Server dan terapkan. GitHub

catatan

EMR Beban kerja interaktif tanpa server hanya mengaktifkan pemantauan tingkat aplikasi, dan memiliki dimensi tipe pekerja baru,. Spark_Kernel Untuk memantau dan men-debug beban kerja interaktif Anda, Anda dapat melihat log dan Apache Spark UI dari dalam EMR Studio Workspace Anda.

Metrik pemantauan

penting

Kami merestrukturisasi tampilan metrik kami untuk ditambahkan ApplicationName dan JobName sebagai dimensi. Metrik yang lebih lama dan sudah ada masih tersedia, tetapi sebaiknya gunakan metrik baru.

Dimensi saat ini

Tabel di bawah ini menjelaskan dimensi EMR Tanpa Server yang tersedia dalam namespace. AWS/EMR Serverless

Dimensi untuk metrik EMR Tanpa Server
Dimensi	Deskripsi
`ApplicationId`	Filter untuk semua metrik aplikasi EMR Tanpa Server menggunakan ID aplikasi.
`ApplicationName`	Filter untuk semua metrik aplikasi EMR Tanpa Server menggunakan nama. Jika nama tidak diberikan, atau berisi karakter non-ASCII, itu diterbitkan sebagai [Tidak ditentukan].
`JobId`	Filter untuk semua metrik EMR Tanpa Server ID job run.
`JobName`	Filter untuk semua metrik pekerjaan EMR Tanpa Server yang dijalankan menggunakan nama. Jika nama tidak diberikan, atau berisi karakter non-ASCII, itu diterbitkan sebagai [Tidak ditentukan].
`WorkerType`	Filter untuk semua metrik dari jenis pekerja tertentu. Misalnya, Anda dapat memfilter untuk `SPARK_DRIVER` dan `SPARK_EXECUTORS` untuk pekerjaan Spark.
`CapacityAllocationType`	Filter untuk semua metrik dari jenis alokasi kapasitas tertentu. Misalnya, Anda dapat memfilter `PreInitCapacity` untuk kapasitas pra-inisialisasi dan `OnDemandCapacity` untuk yang lainnya.

Pemantauan tingkat aplikasi

Anda dapat memantau penggunaan kapasitas di tingkat aplikasi EMR Tanpa Server dengan metrik Amazon. CloudWatch Anda juga dapat mengatur satu tampilan untuk memantau penggunaan kapasitas aplikasi di CloudWatch dasbor.

Metrik aplikasi EMR Tanpa Server
Metrik	Deskripsi	Unit	Dimensi
`MaxCPUAllowed`	CPU maksimum yang diizinkan untuk aplikasi.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	Memori maksimum dalam GB diperbolehkan untuk aplikasi.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	Penyimpanan maksimum dalam GB diperbolehkan untuk aplikasi.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	Jumlah total v yang CPUs dialokasikan.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	Jumlah total pekerja yang menganggur.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	Total memori dalam GB dialokasikan.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	Jumlah total pekerja yang menunggu penciptaan.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	Jumlah total pekerja yang digunakan oleh aplikasi.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	Total penyimpanan disk dalam GB dialokasikan.	Gigabyte (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	Jumlah total pekerja yang tersedia.	Hitungan	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Pemantauan tingkat pekerjaan

Amazon EMR Tanpa Server mengirimkan metrik tingkat pekerjaan berikut ke setiap satu menit. Amazon CloudWatch Anda dapat melihat nilai metrik untuk pekerjaan agregat yang dijalankan berdasarkan status menjalankan pekerjaan. Satuan untuk setiap metrik adalah hitungan.

EMR Metrik tingkat pekerjaan tanpa server
Metrik	Deskripsi	Dimensi
`SubmittedJobs`	Jumlah pekerjaan di negara bagian yang Dikirim.	`ApplicationId`, `ApplicationName`
`PendingJobs`	Jumlah pekerjaan dalam keadaan Tertunda.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	Jumlah pekerjaan dalam keadaan Terjadwal.	`ApplicationId`, `ApplicationName`
`RunningJobs`	Jumlah pekerjaan dalam keadaan Running.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	Jumlah pekerjaan dalam keadaan Sukses.	`ApplicationId`, `ApplicationName`
`FailedJobs`	Jumlah pekerjaan dalam keadaan Gagal.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	Jumlah pekerjaan di negara Membatalkan.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	Jumlah pekerjaan di negara yang Dibatalkan.	`ApplicationId`, `ApplicationName`

Anda dapat memantau metrik khusus mesin untuk menjalankan dan menyelesaikan pekerjaan EMR Tanpa Server dengan aplikasi khusus mesin. UIs Saat Anda melihat UI untuk pekerjaan yang sedang berjalan, Anda melihat UI aplikasi langsung dengan pembaruan waktu nyata. Saat Anda melihat UI untuk pekerjaan yang diselesaikan, Anda akan melihat UI aplikasi persisten.

Menjalankan pekerjaan

Untuk menjalankan pekerjaan EMR Tanpa Server, Anda dapat melihat antarmuka real-time yang menyediakan metrik khusus mesin. Anda dapat menggunakan Apache Spark UI atau Hive Tez UI untuk memantau dan men-debug pekerjaan Anda. Untuk mengaksesnya UIs, gunakan konsol EMR Studio atau minta titik akhir URL aman dengan. AWS Command Line Interface

Pekerjaan yang diselesaikan

Untuk pekerjaan EMR Tanpa Server yang telah selesai, Anda dapat menggunakan Spark History Server atau Persistent Hive Tez UI untuk melihat detail pekerjaan, tahapan, tugas, dan metrik untuk menjalankan pekerjaan Spark atau Hive. Untuk mengaksesnya UIs, gunakan konsol EMR Studio, atau minta titik akhir URL aman dengan. AWS Command Line Interface

Pemantauan tingkat pekerja Job

Amazon EMR Tanpa Server mengirimkan metrik tingkat pekerja kerja berikut yang tersedia di AWS/EMRServerless namespace dan grup metrik ke Amazon. Job Worker Metrics CloudWatch EMR Tanpa Server mengumpulkan poin data dari pekerja individu selama pekerjaan berjalan di tingkat pekerjaan, tipe pekerja, dan tingkat. capacity-allocation-type Anda dapat menggunakan ApplicationId sebagai dimensi untuk memantau beberapa pekerjaan yang termasuk dalam aplikasi yang sama.

EMR Metrik tingkat pekerja pekerjaan tanpa server
Metrik	Deskripsi	Unit	Dimensi
`WorkerCpuAllocated`	Jumlah total inti vCPU yang dialokasikan untuk pekerja dalam menjalankan pekerjaan.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerCpuUsed`	Jumlah total core vCPU yang digunakan oleh pekerja dalam menjalankan pekerjaan.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryAllocated`	Total memori dalam GB dialokasikan untuk pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerMemoryUsed`	Total memori dalam GB yang digunakan oleh pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	Jumlah byte penyimpanan sementara yang dialokasikan untuk pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	Jumlah byte penyimpanan sementara yang digunakan oleh pekerja dalam menjalankan pekerjaan.	Gigabyte (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageReadBytes`	Jumlah byte yang dibaca dari penyimpanan oleh pekerja dalam menjalankan pekerjaan.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`
`WorkerStorageWriteBytes`	Jumlah byte yang ditulis ke penyimpanan dari pekerja dalam menjalankan pekerjaan.	Byte	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, dan `CapacityAllocationType`

Langkah-langkah di bawah ini menjelaskan cara melihat berbagai jenis metrik.

Console

Untuk mengakses UI aplikasi Anda dengan konsol

Arahkan ke aplikasi EMR Tanpa Server Anda di EMR Studio dengan petunjuk di Memulai dari konsol.
Untuk melihat aplikasi UIs dan log khusus mesin untuk pekerjaan yang sedang berjalan:
1. Pilih pekerjaan dengan RUNNING status.
2. Pilih pekerjaan di halaman Detail aplikasi, atau navigasikan ke halaman Detail Pekerjaan untuk pekerjaan Anda.
3. Di bawah menu tarik-turun UI Tampilan, pilih Spark UI atau Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk melihat log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk melihat log mesin Hive, pilih tautan Log untuk DAG yang sesuai di UI Hive Tez.
Untuk melihat aplikasi UIs dan log khusus mesin untuk pekerjaan yang diselesaikan:
1. Pilih pekerjaan dengan SUCCESS status.
2. Pilih pekerjaan di halaman detail Aplikasi lamaran Anda atau navigasikan ke halaman detail Pekerjaan.
3. Di bawah menu tarik-turun Display UI, pilih Spark History Server atau Persistent Hive Tez UI untuk menavigasi ke UI aplikasi untuk jenis pekerjaan Anda.
4. Untuk melihat log mesin Spark, navigasikan ke tab Executors di UI Spark, dan pilih tautan Log untuk driver. Untuk melihat log mesin Hive, pilih tautan Log untuk DAG yang sesuai di UI Hive Tez.

AWS CLI

Untuk mengakses UI aplikasi Anda dengan AWS CLI

Untuk menghasilkan URL yang dapat Anda gunakan untuk mengakses UI aplikasi untuk pekerjaan yang berjalan dan diselesaikan, hubungi GetDashboardForJobRun API.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
URL yang Anda hasilkan valid selama satu jam.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Pemantauan

Metrik mesin percikan