Configuración CloudWatch del agente para Amazon EMR 7.1.0 - Amazon EMR
Esquema de configuraciónEjemplos de configuraciones de métricas del sistemaEjemplos de configuraciones de métricas de aplicaciónAmazon Managed Service para Prometheus

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuración CloudWatch del agente para Amazon EMR 7.1.0

A partir de Amazon EMR 7.1.0, puede configurar al CloudWatch agente de Amazon para que utilice métricas adicionales del sistema, añada métricas de aplicaciones y cambie el destino de las métricas mediante la API de configuración de Amazon EMR. Para obtener más información sobre cómo usar la API de configuración de EMR para configurar las aplicaciones del clúster, consulte Configuración de aplicaciones.

nota

7.1.0 solo admite el tipo de reconfiguración OVERWRITE. Para obtener más información sobre los tipos de reconfiguración, consulte Consideraciones a la hora de reconfigurar un grupo de instancias.

Esquema de configuración

emr-metrics tiene las siguientes clasificaciones:

  • emr-system-metrics: configura las métricas del sistema, como CPU, disco y memoria.

  • emr-hadoop-hdfs-datanode-metrics— configurar las métricas JMX de Hadoop DataNode

  • emr-hadoop-hdfs-namenode-metrics— configurar las métricas de Hadoop JMX NameNode

  • emr-hadoop-yarn-nodemanager-metrics— configurar las métricas de Yarn JMX NodeManager

  • emr-hadoop-yarn-resourcemanager-metrics— configurar las métricas de Yarn ResourceManager JMX

  • emr-hbase-master-metrics— configurar las métricas de HBase Master JMX

  • emr-hbase-region-server-metrics— configurar las métricas HBase JMX de Region Server

  • emr-hbase-rest-server-metrics— configurar las métricas HBase JMX del servidor REST

  • emr-hbase-thrift-server-metrics— configurar las métricas JMX de HBase Thrift Server

Las tablas siguientes describen las propiedades y configuraciones disponibles para todas y cada una de las clasificaciones.

propiedades de emr-metrics

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics_destination Opcional Determina si las métricas del clúster se publican en Amazon CloudWatch o en Amazon Managed Service para Prometheus. "CLOUDWATCH" "CLOUDWATCH", "PROMETHEUS" Esta propiedad no distingue entre mayúsculas y minúsculas. Por ejemplo, “Cloudwatch” es lo mismo que “CLOUDWATCH”.
prometheus_endpoint Opcional Si metrics_destination se establece en «PROMETHEUS», esta propiedad configura al CloudWatch agente para que envíe métricas al punto de conexión de escritura remota proporcionado por Amazon Managed Service para Prometheus. N/A Cualquier URL de escritura remota de Amazon Managed Service para Prometheus. El formato de URL de escritura remota es 
https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write
 Este campo solo se obligatorio si metrics_destination está establecido en "PROMETHEUS". El aprovisionamiento fallará si no proporciona una clave o si el valor es una cadena vacía.

emr-system-metrics propiedades

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas desde el CloudWatch agente. "60" Una cadena que especifica el número de segundos. Solo acepta números enteros. Puede anular esta propiedad con la propiedad metrics_collection_interval de grupos de métricas individuales.

emr-system-metrics configuraciones

cpu
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de la CPU que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de la CPU válidos con o sin el prefijo cpu_, como usage_active y cpu_time_idle. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica de la CPU.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas de la CPU que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad del metrics_collection_interval global solo para las métricas de la CPU.
drop_original_metrics Opcional Lista de métricas de la CPU para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de CPU no agregada. Una lista separada por comas de métricas de la CPU que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de la CPU. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por núcleo. "*" "*" habilita las métricas por núcleo. "" deshabilita las métricas por núcleo. El CloudWatch agente solo publica métricas por núcleo para las métricas de la CPU que no se descartan. drop_original_metrics
disk
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de disco que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de disco válidos con o sin el prefijo disk_, como disk_total y used_percent. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publicará ninguna métrica de disco.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas del disco que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de disco.
drop_original_metrics Opcional Lista de métricas de disco para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de disco no agregada. Una lista separada por comas de métricas de disco que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas del disco. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará per-mount-point las métricas. "*" "*" significa todos los puntos de montaje, "" significa que no hay puntos de montaje o se trata de una lista de puntos de montaje separados por comas. Por ejemplo, "/,/emr". El CloudWatch agente solo publica per-mount-point métricas de disco que no se descartandrop_original_metrics.
diskio
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de E/S de disco que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de E/S de disco válidos con o sin el prefijodiskio_, como diskio_reads y writes. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publicará ninguna métrica de E/S del disco.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas de E/S del disco que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de E/S del disco.
drop_original_metrics Opcional Lista de métricas de E/S del disco para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de E/S del disco no agregada. Una lista separada por comas de métricas de E/S del disco que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de E/S del disco. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por dispositivo. "*" "*" significa todos los dispositivos de almacenamiento, "" significa que no hay dispositivos de almacenamiento o se trata de una lista de nombres de dispositivos separados por comas. Por ejemplo, "nvme0n1,nvme1n1". El CloudWatch agente solo publica métricas por dispositivo para las métricas de E/S de disco que no se descartan. drop_original_metrics
mem
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de memoria que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo mem_, como mem_available y available_percent. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica de memoria.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas de memoria que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de memoria.
net
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de red que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de red válidos con o sin el prefijonet_, como net_packets_sent y packets_recv. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica de red.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas de red que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de red.
drop_original_metrics Opcional Lista de métricas de red para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de red no agregada. Una lista separada por comas de métricas de red que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de red. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por interfaz. "*" "*" se refiere a todas las interfaces de red, "" significa que no hay interfaces de red o se trata de una lista de nombres de interfaces separados por comas. Por ejemplo, "eth0,eth1". El CloudWatch agente solo publica métricas por interfaz para las métricas de red que no se descartan. drop_original_metrics
netstat
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de estadísticas de red que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo netstat_, como tcp_listen y netstat_udp_socket. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica estadística de red.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas estadísticas de red que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas estadísticas de red.
processes
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de proceso que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo processes_, como processes_running y total. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica del proceso.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas del proceso del sistema que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de los procesos del sistema.
swap
Propiedad Obligatorio Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de intercambio que debe recopilar el agente. Consulte Métricas predeterminadas para el CloudWatch agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo swap_, como swap_free y used_percent. Consulte Métricas que recopila el CloudWatch agente para ver métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica de intercambio.
metrics_collection_interval Opcional La frecuencia en segundos acerca de la recopilación y publicación de las métricas de intercambio que debe realizar el agente. El valor del metrics_collection_interval global. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de intercambio.

emr-hadoop-hdfs-datanode-Propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=DataNode,name=DataNodeActivity. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, BlocksCached,BlocksRead.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de Hadoop DataNode . “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-hdfs-namenode-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=NameNode,name=FSNamesystem. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de Hadoop NameNode . “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-nodemanager-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=NodeManager,name=NodeManagerMetrics. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, MaxCapacity,AllocatedGB.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de Hadoop YARN NodeManager . “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-resourcemanager-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=ResourceManager,name=PartitionQueueMetrics. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de Hadoop YARN ResourceManager . “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-master-metrics propiedades

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, como. Hadoop:service=HBase,name=Master,sub=AssignmentManager Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas HBase maestras. “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-region-server-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=RegionServer,sub=IPC. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de HBase Region Server. “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-rest-server-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=REST. Puede encontrar ejemplos de MBean nombres y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, successfulPut,successfulScanCount.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de HBase Rest Server. “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-thrift-server-propiedades de métricas

Propiedad Obligatorio Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=Thrift,sub=ThriftOne. Puede encontrar MBean nombres de ejemplo y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Una cadena que contiene la lista delimitada por comas de métricas que están asociadas al. MBean Por ejemplo, BatchGet_max,BatchGet_mean.
otel.metric.export.interval Opcional La frecuencia en milisegundos acerca de la recopilación de las métricas de HBase Thrift Server. “60 000” Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

Ejemplos de configuraciones de métricas del sistema

En el siguiente ejemplo se muestra cómo configurar el CloudWatch agente para detener la exportación de todas las métricas del sistema.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

En el siguiente ejemplo configura al CloudWatch agente para exportar las métricas del sistema. Hacerlo es una forma rápida de restablecer el agente para que solo exporte las métricas predeterminadas del sistema si ya ha reconfigurado las métricas del sistema al menos una vez. Este restablecimiento también elimina cualquier métrica de la aplicación que se haya reconfigurado anteriormente.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

El siguiente ejemplo configura el clúster para exportar las métricas cpu, mem y disk.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

La configuración del ejemplo anterior tiene las propiedades siguientes:

  • Cada 30 segundos, el agente recopila la cpu_guest métrica de todos CPUs. Puede encontrar la métrica agregada en el espacio de CloudWatch nombresCWAgent > cluster.id, instance.id, node.type, service.name.

  • Cada 30 segundos, el agente recopila la cpu_idle métrica de todos CPUs. Puede encontrar la métrica agregada en el espacio de CloudWatch nombresCWAgent > cluster.id, instance.id, node.type, service.name. El agente también recopila las métricas por CPU. Puede encontrarlas en el mismo espacio de nombres. El agente recopila esta métrica porque la propiedad drop_original_metrics no contiene la cpu_idle, por lo que el agente no ignora la métrica.

  • Cada 20 segundos, el agente recopila la métrica mem_active. Puedes encontrar la métrica agregada en el espacio de nombres. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name

  • Cada 20 segundos, el agente recopila las métricas disk_used_percent de los montajes del disco / y /mnt. Puedes encontrar las métricas agregadas en el espacio de nombres. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name El agente también recopila las métricas por montaje. Puede encontrarlas en el mismo espacio de nombres. El agente recopila esta métrica porque la propiedad drop_original_metrics no contiene la disk_used_percent, por lo que el agente no ignora la métrica.

Ejemplos de configuraciones de métricas de aplicación

En el siguiente ejemplo configura al CloudWatch agente para detener la exportación de las métricas para el servicio Hadoop Namenode.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

El siguiente ejemplo configura un clúster para exportar las métricas de las aplicaciones de Hadoop.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

El ejemplo anterior tiene las propiedades siguientes:

  • Cada 20 segundos, el agente recopila las métricas BlockCapacity y CapacityUsedGB de las instancias que ejecutan el servicio Hadoop Namenode.

  • Cada 30 segundos, el agente recopila las métricas MemNonHeapUsedM de las instancias que ejecutan el servicio Hadoop Datanode.

  • Cada 30 segundos, el agente recopila las NodeUpdateNumOps métricas AllocateNumOps y métricas de las instancias que ejecutan el Hadoop YARN. ResourceManaager

Amazon Managed Service para Prometheus

En el siguiente ejemplo se muestra cómo configurar el CloudWatch agente para exportar métricas a Amazon Managed Service para Prometheus.

Si actualmente exporta métricas a Amazon Managed Service para Prometheus y desea reconfigurar las métricas del clúster y seguir exportándolas a Amazon Managed Service para Prometheus, debe incluir las propiedades metrics_destination y prometheus_endpoint.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Para usar el CloudWatch agente al que exportar métricas CloudWatch, utilice el siguiente ejemplo.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]
nota

El CloudWatch agente tiene un exportador de Prometheus que cambia el nombre de algunos atributos. Para las etiquetas de métricas predeterminadas, Amazon Managed Service para Prometheus utiliza caracteres de subrayado en lugar de los puntos que utiliza Amazon. CloudWatch Si utiliza Amazon Managed Grafana para visualizar las métricas predeterminadas en Amazon Managed Service para Prometheus, las etiquetas aparecen como cluster_id, instance_id, node_type y service_name.