Amazon EMR 7.1.0 用 CloudWatch エージェントの設定

Amazon EMR 7.1.0 以降、Amazon EMR 設定 API を使用して、追加のシステムメトリクスを使用するように Amazon CloudWatch エージェントを設定し、アプリケーションメトリクスを追加し、メトリクスの送信先を変更することができます。EMR 設定 API を使用してクラスターのアプリケーションを設定する方法の詳細については、「Configure applications」を参照してください。

設定のスキーマ

emr-metrics には次の分類があります。

以下の表は、すべての分類で使用できるプロパティと設定について説明しています。

emr-metrics プロパティ

https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write

emr-system-metrics プロパティ

emr-system-metrics 設定

emr-hadoop-hdfs-datanode-metrics プロパティ

emr-hadoop-hdfs-namenode-metrics プロパティ

emr-hadoop-yarn-nodemanager-metrics プロパティ

emr-hadoop-yarn-resourcemanager-metrics プロパティ

emr-hbase-master-metrics プロパティ

emr-hbase-region-server-metrics プロパティ

emr-hbase-rest-server-metrics プロパティ

emr-hbase-thrift-server-metrics プロパティ

システムメトリクス設定の例

次の例は、すべてのシステムメトリクスのエクスポートを停止するように CloudWatch エージェントを設定する方法を示しています。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

次の例では、デフォルトのシステムメトリクスをエクスポートするように CloudWatch エージェントを設定します。これを行うと、システムメトリクスを少なくとも 1 回再設定した場合、エージェントをデフォルトのシステムメトリクスのエクスポートのみにリセットできます。このリセットにより、以前に再設定されたアプリケーションメトリクスも削除されます。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

次の例では、cpu、mem、disk メトリクスをエクスポートするようにクラスターを設定します。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

前の例の設定は以下のようなプロパティを持ちます。

アプリケーションメトリクス設定の例

次の例では、Hadoop Namenode サービスのメトリクスのエクスポートを停止するように CloudWatch エージェントを設定します。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

次の例では、Hadoop アプリケーションメトリクスをエクスポートするようにクラスターを設定します。

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

前の例には、次のプロパティがあります。

Amazon Managed Service for Prometheus の例

次の例は、メトリクスを Amazon Managed Service for Prometheus にエクスポートするように CloudWatch エージェントを設定する方法を示しています。

現在、メトリクスを Amazon Managed Service for Prometheus にエクスポートしていて、クラスターのメトリクスを再設定し、メトリクスを Amazon Managed Service for Prometheus にエクスポートし続ける場合は、プロパティ metrics_destination と prometheus_endpoint を含める必要があります。

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

CloudWatch エージェントを使用してメトリクスを CloudWatch にエクスポートするには、次の例を使用します。

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]