設定 Amazon EMR 7.1.0 的 CloudWatch 代理程式

從 Amazon EMR 7.1.0 開始，您可以使用 Amazon EMR 組態 API，將 Amazon CloudWatch 代理程式設定為使用其他系統指標、新增應用程式指標和變更指標目的地。如需如何使用 EMR 組態 API 來設定叢集應用程式的詳細資訊，請參閱設定應用程式。

組態結構描述

emr-metrics 具有下列分類：

下表說明所有分類的可用屬性和組態。

emr-metrics 屬性

https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write

emr-system-metrics 屬性

emr-system-metrics 組態

emr-hadoop-hdfs-datanode-metrics 屬性

emr-hadoop-hdfs-namenode-metrics 屬性

emr-hadoop-yarn-nodemanager-metrics 屬性

emr-hadoop-yarn-resourcemanager-metrics 屬性

emr-hbase-master-metrics 屬性

emr-hbase-region-server-metrics 屬性

emr-hbase-rest-server-metrics 屬性

emr-hbase-thrift-server-metrics 屬性

系統指標組態範例

下列範例示範如何設定 CloudWatch 代理程式以停止匯出所有系統指標。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

下列範例會將 CloudWatch 代理程式設定為匯出預設系統指標。這樣做是將代理程式重設回僅匯出預設系統指標的快速方法，前提是您已至少重新設定系統指標一次。此重設也會移除之前重新設定的任何應用程式指標。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

下列範例會將叢集設定為匯出 cpu、 mem和 disk指標。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

先前的範例組態具有下列屬性：

應用程式指標組態範例

下列範例會將 CloudWatch 代理程式設定為停止匯出 Hadoop Namenode 服務的指標。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

下列範例會將叢集設定為匯出 Hadoop 應用程式指標。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

上一個範例具有下列屬性：

Amazon Managed Service for Prometheus 範例

下列範例示範如何設定 CloudWatch 代理程式，將指標匯出至 Amazon Managed Service for Prometheus。

如果您目前正在將指標匯出至 Amazon Managed Service for Prometheus，並想要重新設定叢集的指標，並繼續將指標匯出至 Amazon Managed Service for Prometheus，則必須包含 屬性 metrics_destination和 prometheus_endpoint。

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

若要使用 CloudWatch 代理程式將指標匯出至 CloudWatch，請使用下列範例。

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]