Amazon EMR 7.1.0용 CloudWatch 에이전트 구성

Amazon EMR 7.1.0부터 Amazon EMR 구성 API를 사용하여 추가 시스템 지표를 사용하고, 애플리케이션 지표를 추가하며, 지표 대상을 변경하도록 Amazon CloudWatch 에이전트를 구성할 수 있습니다. EMR 구성 API를 사용하여 클러스터의 애플리케이션을 구성하는 방법에 대한 자세한 내용은 애플리케이션 구성을 참조하세요.

구성 스키마

emr-metrics에는 다음과 같은 분류가 있습니다.

다음 표에서는 모든 분류에 대해 사용 가능한 속성 및 구성을 설명합니다.

emr-metrics 속성

https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write

emr-system-metrics 속성

emr-system-metrics 구성

emr-hadoop-hdfs-datanode-metrics 속성

emr-hadoop-hdfs-namenode-metrics 속성

emr-hadoop-yarn-nodemanager-metrics 속성

emr-hadoop-yarn-resourcemanager-metrics 속성

emr-hbase-master-metrics 속성

emr-hbase-region-server-metrics 속성

emr-hbase-rest-server-metrics 속성

emr-hbase-thrift-server-metrics 속성

시스템 지표 구성 예제

다음 예제에서는 모든 시스템 지표 내보내기를 중지하도록 CloudWatch 에이전트를 구성하는 방법을 보여줍니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

다음 예제에서는 기본 시스템 지표를 내보내도록 CloudWatch 에이전트를 구성합니다. 그러면 시스템 지표를 이미 한 번 이상 재구성한 경우 기본 시스템 지표 내보내기만 가능하도록 에이전트를 다시 빠르게 재설정할 수 있습니다. 이 재설정은 이전에 재구성된 모든 애플리케이션 지표도 제거합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

다음 예제에서는 cpu, mem 및 disk 지표를 내보내도록 클러스터를 구성합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

이전 예제 구성에는 다음 속성이 있습니다.

애플리케이션 지표 구성 예제

다음 예제에서는 Hadoop Namenode 서비스에 대한 지표 내보내기를 중지하도록 CloudWatch 에이전트를 구성합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

다음 예제에서는 Hadoop 애플리케이션 지표를 내보내도록 클러스터를 구성합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

이전 예제에는 다음 속성이 있습니다.

Amazon Managed Service for Prometheus 예제

다음 예제에서는 Amazon Managed Service for Prometheus로 지표를 전송하도록 CloudWatch 에이전트를 구성하는 방법을 보여줍니다.

현재 Amazon Managed Service for Prometheus로 지표를 내보내고 있으며, 클러스터의 지표를 재구성하여 Amazon Managed Service for Prometheus로 지표를 계속 내보내려는 경우 metrics_destination 및 prometheus_endpoint 속성을 포함해야 합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

CloudWatch 에이전트를 사용하여 지표를 CloudWatch로 내보내려면 다음 예제를 사용합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]