

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Lowongan kerja Monitoring AWS Glue Spark
<a name="monitor-spark"></a>

**Topics**
+ [Metrik Spark tersedia di AWS Glue Studio](#console-jobs-details-metrics-spark)
+ [Memantau pekerjaan menggunakan UI web Apache Spark](monitor-spark-ui.md)
+ [Pemantauan dengan wawasan menjalankan AWS Glue pekerjaan](monitor-job-insights.md)
+ [Pemantauan CloudWatch dengan Amazon](monitor-cloudwatch.md)
+ [Pemantauan dan debugging Job](monitor-profile-glue-job-cloudwatch-metrics.md)

## Metrik Spark tersedia di AWS Glue Studio
<a name="console-jobs-details-metrics-spark"></a>

Tab **Metrik** menampilkan metrik yang dikumpulkan saat sebuah eksekusi tugas dan pembuatan profil diaktifkan. Grafik berikut ditunjukkan dalam pekerjaan Spark: 
+ Pergerakan Data ETL
+ Profil Memori: Driver dan Pelaksana

Pilih **Lihat metrik tambahan** untuk menampilkan grafik berikut:
+ Pergerakan Data ETL
+ Profil Memori: Driver dan Pelaksana
+ Data yang Diacak di Seluruh Pelaksana
+ Beban CPU: Driver dan Pelaksana
+ Eksekusi Tugas: Pelaksana Aktif, Tahapan Selesai & Pelaksana Maksimal yang Dibutuhkan

Data untuk grafik ini didorong ke CloudWatch metrik jika pekerjaan dikonfigurasi untuk mengumpulkan metrik. Untuk informasi selengkapnya tentang cara mengaktifkan metrik dan menafsirkan grafik, lihat [Pemantauan dan debugging Job](monitor-profile-glue-job-cloudwatch-metrics.md). 

**Example Grafik pergerakan data ETL**  
Grafik Pergerakan Data ETL menunjukkan metrik berikut:  
+ Jumlah byte yang dibaca dari Amazon S3 oleh semua pelaksana—[`glue.ALL.s3.filesystem.read_bytes`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.s3.filesystem.read_bytes)
+ Jumlah byte yang ditulis ke Amazon S3 oleh semua pelaksana—[`glue.ALL.s3.filesystem.write_bytes`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.s3.filesystem.write_bytes)

![Grafik untuk Pergerakan Data ETL di tab Metrik pada konsol AWS Glue.](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/job_detailed_etl.png)


**Example Grafik profil memori**  
Grafik Profil Memori menampilkan metrik berikut ini:  
+ Fraksi memori yang digunakan oleh tumpukan JVM untuk driver ini (skala: 0–1) oleh driver, yakni pelaksana diidentifikasi oleh *executorId*, atau semua pelaksana—
  + [`glue.driver.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.jvm.heap.usage)
  + [`glue.executorId.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.executorId.jvm.heap.usage)
  + [`glue.ALL.jvm.heap.usage`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.jvm.heap.usage)

![Grafik untuk Profil Memori di tab Metrik pada konsol AWS Glue.](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/job_detailed_mem.png)


**Example Pengocokan data di seluruh grafik pelaksana**  
Grafik Data yang Diacak di Seluruh Pelaksana menunjukkan metrik berikut:  
+ Jumlah byte yang dibaca oleh semua pelaksana untuk mengacak data antara mereka—[`glue.driver.aggregate.shuffleLocalBytesRead`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.shuffleLocalBytesRead)
+ Jumlah byte yang ditulis oleh semua pelaksana untuk mengacak data antara mereka—[`glue.driver.aggregate.shuffleBytesWritten`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.shuffleBytesWritten)

![Grafik untuk Data yang Diacak di Seluruh Pelaksana di tab Metrik pada konsol AWS Glue.](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/job_detailed_data.png)


**Example Grafik beban CPU**  
Grafik Beban CPU menunjukkan metrik berikut:  
+ Fraksi beban sistem CPU yang digunakan (skala: 0–1) oleh driver, yakni pelaksana yang diidentifikasi oleh *executorId*, atau semua pelaksana—
  + [`glue.driver.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.system.cpuSystemLoad)
  + [`glue.executorId.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.executorId.system.cpuSystemLoad)
  + [`glue.ALL.system.cpuSystemLoad`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.ALL.system.cpuSystemLoad)

![Grafik untuk Beban CPU di tab Metrik pada konsol AWS Glue.](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/job_detailed_cpu.png)


**Example Grafik eksekusi Job**  
Grafik Eksekusi Tugas menampilkan metrik berikut:  
+ Jumlah pelaksana yang berjalan aktif—[`glue.driver.ExecutorAllocationManager.executors.numberAllExecutors`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.ExecutorAllocationManager.executors.numberAllExecutors)
+ Jumlah tahap yang telah selesai—[`glue.aggregate.numCompletedStages`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.aggregate.numCompletedStages)
+ Jumlah maksimal pelaksana yang dibutuhkan—[`glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors`](monitoring-awsglue-with-cloudwatch-metrics.md#glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors)

![Grafik untuk Eksekusi Tugas di tab Metrik pada konsol AWS Glue.](http://docs.aws.amazon.com/id_id/glue/latest/dg/images/job_detailed_exec.png)
