Skema konfigurasi Contoh konfigurasi metrik sistem Contoh konfigurasi metrik aplikasi Layanan Terkelola Amazon untuk contoh Prometheus

Konfigurasikan CloudWatch agen untuk Amazon EMR 7.1.0

Dimulai dengan Amazon EMR 7.1.0, Anda dapat mengonfigurasi CloudWatch agen Amazon untuk menggunakan metrik sistem tambahan, menambahkan metrik aplikasi, dan mengubah tujuan metrik dengan menggunakan API konfigurasi Amazon EMR. Untuk informasi selengkapnya tentang cara menggunakan API konfigurasi EMR untuk mengonfigurasi aplikasi klaster Anda, lihat Mengonfigurasi aplikasi.

catatan

7.1.0 hanya mendukung tipe konfigurasi ulang. OVERWRITE Untuk informasi selengkapnya tentang tipe konfigurasi ulang, lihat Pertimbangan saat Anda mengonfigurasi ulang grup instans.

Topik

Skema konfigurasi
Contoh konfigurasi metrik sistem
Contoh konfigurasi metrik aplikasi
Layanan Terkelola Amazon untuk contoh Prometheus

Skema konfigurasi

emr-metricsmemiliki klasifikasi sebagai berikut:

emr-system-metricsMengonfigurasi metrik sistem, seperti CPU, disk, dan memori.
emr-hadoop-hdfs-datanode-metrics— konfigurasikan metrik Hadoop DataNode JMX
emr-hadoop-hdfs-namenode-metrics— konfigurasikan metrik Hadoop NameNode JMX
emr-hadoop-yarn-nodemanager-metrics— konfigurasikan metrik Yarn NodeManager JMX
emr-hadoop-yarn-resourcemanager-metrics— konfigurasikan metrik Yarn ResourceManager JMX
emr-hbase-master-metrics— konfigurasikan HBase metrik Master JMX
emr-hbase-region-server-metrics— konfigurasikan HBase metrik JMX Server Wilayah
emr-hbase-rest-server-metrics— konfigurasikan HBase metrik REST Server JMX
emr-hbase-thrift-server-metrics— konfigurasikan HBase metrik JMX Server Hemat

Tabel berikut menjelaskan properti dan konfigurasi yang tersedia untuk semua klasifikasi.

properti emr-metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics_destination`	Opsional	Menentukan apakah metrik klaster dipublikasikan ke Amazon CloudWatch atau Amazon Managed Service untuk Prometheus.	CLOUDWATCH	“CLOUDWATCH”, “PROMETHEUS”	Properti ini peka terhadap huruf besar/kecil. Misalnya, “Cloudwatch” sama dengan “CLOUDWATCH”.
`prometheus_endpoint`	Opsional	Jika `metrics_destination` disetel ke “PROMETHEUS”, properti ini mengonfigurasi CloudWatch agen untuk mengirim metrik ke titik akhir penulisan jarak jauh Amazon Managed Service for Prometheus yang disediakan.	N/A	Layanan Terkelola Amazon yang valid untuk URL penulisan jarak jauh Prometheus. Format URL tulis jarak jauh adalah `https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write`	Bidang ini diperlukan jika `metrics_destination` disetel ke “PROMETHEUS”. Penyediaan akan gagal jika Anda tidak memberikan kunci atau jika nilainya adalah string kosong.

emr-system-metrics properti

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik metrik dikumpulkan dan dipublikasikan dari CloudWatch agen.	“60"	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Anda dapat mengganti properti ini dengan `metrics_collection_interval` properti dari grup metrik individual.

emr-system-metrics konfigurasi

cpu

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik CPU untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik CPU valid yang dipisahkan koma dengan atau tanpa `cpu_` awalan, seperti dan. `usage_active` `cpu_time_idle` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik CPU apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik CPU.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik CPU.
`drop_original_metrics`	Opsional	Daftar metrik CPU yang tidak mempublikasikan metrik yang tidak teragregasi.	Tidak ada metrik CPU yang tidak teragregasi yang diterbitkan.	Daftar metrik CPU yang dipisahkan koma yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik CPU.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
`resources`	Opsional	Menentukan apakah agen akan mempublikasikan metrik per inti.	"*"	“*” aktifkan metrik per inti. “” nonaktifkan metrik per inti.	CloudWatch Agen hanya menerbitkan metrik per inti untuk metrik CPU yang tidak dimasukkan. `drop_original_metrics`

disk

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik disk untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik disk valid yang dipisahkan koma dengan atau tanpa `disk_` awalan, seperti dan. `disk_total` `used_percent` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik disk apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik disk.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik disk.
`drop_original_metrics`	Opsional	Daftar metrik disk yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik disk yang tidak teragregasi yang diterbitkan.	Daftar metrik disk yang dipisahkan koma yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik disk.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
`resources`	Opsional	Menentukan apakah agen akan mempublikasikan per-mount-point metrik.	"*"	“*” berarti semua titik pemasangan, “” berarti tidak ada titik pemasangan, atau daftar titik pemasangan yang dipisahkan koma. Misalnya, `"/,/emr"`.	CloudWatch Agen hanya menerbitkan per-mount-point metrik untuk metrik disk yang tidak dimasukkan. `drop_original_metrics`

diskio

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik disk IO untuk agen untuk mengumpulkan.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik IO disk valid yang dipisahkan koma dengan atau tanpa `diskio_` awalan, seperti dan. `diskio_reads` `writes` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik IO disk apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik disk IO.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik IO disk.
`drop_original_metrics`	Opsional	Daftar metrik IO disk yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik IO disk tak teragregasi yang diterbitkan.	Daftar metrik IO disk yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik disk IO.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
`resources`	Opsional	Menentukan apakah agen akan mempublikasikan metrik per perangkat.	"*"	“*” berarti semua perangkat penyimpanan, “” berarti tidak ada perangkat penyimpanan, atau daftar nama perangkat yang dipisahkan koma. Misalnya, `"nvme0n1,nvme1n1"`.	CloudWatch Agen hanya menerbitkan metrik per perangkat untuk metrik IO disk yang tidak dimasukkan. `drop_original_metrics`

mem

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik memori untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa `mem_` awalan, seperti dan. `mem_available` `available_percent` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik memori apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik memori.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik memori.

net

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik jaringan untuk agen untuk mengumpulkan.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik jaringan valid yang dipisahkan koma dengan atau tanpa `net_` awalan, seperti dan. `net_packets_sent` `packets_recv` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik jaringan apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik jaringan.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik jaringan.
`drop_original_metrics`	Opsional	Daftar metrik jaringan yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik jaringan tak teragregasi yang diterbitkan.	Daftar metrik jaringan yang dipisahkan koma yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik jaringan.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
`resources`	Opsional	Menentukan apakah agen akan mempublikasikan metrik per antarmuka.	"*"	“*” berarti semua antarmuka jaringan, “” berarti tidak ada antarmuka jaringan, atau daftar nama antarmuka yang dipisahkan koma. Misalnya, `"eth0,eth1"`.	CloudWatch Agen hanya menerbitkan metrik per antarmuka untuk metrik jaringan yang tidak dimasukkan. `drop_original_metrics`

netstat

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik statistik jaringan untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa `netstat_` awalan, seperti dan. `tcp_listen` `netstat_udp_socket` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik statistik jaringan apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik statistik jaringan.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik statistik jaringan.

processes

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik proses untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa `processes_` awalan, seperti dan. `processes_running` `total` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik proses apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik proses sistem.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik proses sistem.

swap

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
`metrics`	Opsional	Daftar metrik swap untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa `swap_` awalan, seperti dan. `swap_free` `used_percent` Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik swap apa pun.
`metrics_collection_interval`	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik swap.	Nilai global`metrics_collection_interval`.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan `metrics_collection_interval` properti global hanya untuk metrik swap.

emr-hadoop-hdfs-datanodeproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=DataNode,name=DataNodeActivity`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `BlocksCached,BlocksRead`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop DataNode .	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-hdfs-namenodeproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=NameNode,name=FSNamesystem`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `BlockCapacity,CapacityUsedGB`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop NameNode .	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-yarn-nodemanagerproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=NodeManager,name=NodeManagerMetrics`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `MaxCapacity,AllocatedGB`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. NodeManager	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-yarn-resourcemanagerproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=ResourceManager,name=PartitionQueueMetrics`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `MaxCapacity,MaxCapacityVCores`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. ResourceManager	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-master-metrics properti

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=HBase,name=Master,sub=AssignmentManager`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `AssignFailedCount,AssignSubmittedCount`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Master.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-region-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=HBase,name=RegionServer,sub=IPC`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik yang dipisahkan koma yang dipisahkan koma yang terkait dengan metrik. MBean Misalnya, `numActiveHandler,numActivePriorityHandler`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Region Server.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-rest-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=HBase,name=REST`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan. MBean Misalnya, `successfulPut,successfulScanCount`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Rest Server.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-thrift-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
`<custom_bean_name>`	Opsional	N/A	CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, seperti`Hadoop:service=HBase,name=Thrift,sub=ThriftOne`. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dipisahkan koma yang terkait dengan. MBean Misalnya, `BatchGet_max,BatchGet_mean`.
`otel.metric.export.interval`	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik server HBase Thrift.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

Contoh konfigurasi metrik sistem

Contoh berikut menunjukkan cara mengonfigurasi CloudWatch agen untuk menghentikan ekspor semua metrik sistem.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Contoh berikut mengonfigurasi CloudWatch agen untuk mengekspor metrik sistem default. Melakukannya adalah cara cepat untuk mengatur ulang agen kembali untuk hanya mengekspor metrik sistem default jika Anda telah mengonfigurasi ulang metrik sistem setidaknya sekali. Reset ini juga menghapus metrik aplikasi apa pun yang telah dikonfigurasi ulang sebelumnya.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

Contoh berikut mengkonfigurasi cluster untuk mengeksporcpu,mem, dan disk metrik.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

Contoh konfigurasi sebelumnya memiliki properti berikut:

Setiap 30 detik, agen mengumpulkan cpu_guest metrik untuk semua CPUs. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace.
Setiap 30 detik, agen mengumpulkan cpu_idle metrik untuk semua CPUs. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace. Agen juga mengumpulkan metrik per cpu. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karena drop_original_metrics properti tidak mengandungcpu_idle, sehingga agen tidak mengabaikan metrik.
Setiap 20 detik, agen mengumpulkan mem_active metrik. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace.
Setiap 20 detik, agen mengumpulkan disk_used_percent metrik untuk pemasangan / dan /mnt disk. Anda dapat menemukan metrik agregat di bawah namespace. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Agen juga mengumpulkan metrik per pemasangan. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karena drop_original_metrics properti tidak mengandungdisk_used_percent, sehingga agen tidak mengabaikan metrik.

Contoh konfigurasi metrik aplikasi

Contoh berikut mengonfigurasi CloudWatch agen untuk berhenti mengekspor metrik untuk layanan Hadoop Namenode.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Contoh berikut mengkonfigurasi cluster untuk mengekspor metrik aplikasi Hadoop.


[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

Contoh sebelumnya memiliki properti berikut:

Setiap 20 detik, agen mengumpulkan BlockCapacity dan CapacityUsedGB metrik dari instance yang menjalankan layanan Hadoop Namenode.
Setiap 30 detik, agen mengumpulkan MemNonHeapUsedM metrik dari instance yang menjalankan layanan Hadoop Datanode.
Setiap 30 detik, agen mengumpulkan AllocateNumOps dan NodeUpdateNumOps metrik dari instance yang menjalankan Hadoop YARN. ResourceManaager

Layanan Terkelola Amazon untuk contoh Prometheus

Contoh berikut menunjukkan cara mengonfigurasi CloudWatch agen untuk mengekspor metrik ke Amazon Managed Service untuk Prometheus.

Jika saat ini Anda mengekspor metrik ke Amazon Managed Service untuk Prometheus dan ingin mengonfigurasi ulang metrik untuk klaster dan terus mengekspor metrik ke Amazon Managed Service untuk Prometheus, Anda harus menyertakan properti dan. metrics_destination prometheus_endpoint


[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Untuk menggunakan CloudWatch agen untuk mengekspor metrik CloudWatch, gunakan contoh berikut.


[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]

catatan

CloudWatch Agen memiliki eksportir Prometheus yang mengganti nama atribut tertentu. Untuk label metrik default, Amazon Managed Service untuk Prometheus menggunakan karakter garis bawah sebagai pengganti periode yang digunakan Amazon. CloudWatch Jika Anda menggunakan Grafana Terkelola Amazon untuk memvisualisasikan metrik default di Amazon Managed Service untuk Prometheus, label akan muncul sebagai,,, dan. cluster_id instance_id node_type service_name

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Konfigurasi

Amazon EMR 7.0