本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Amazon EMR 开启 EC2 — CloudWatch 使用自定义指标和日志进行增强监控

概述

Amazon EMR 提供强大且经济高效的大数据处理能力。要最大限度地提高性能和资源利用率，有效的监控至关重要。Amazon 为 EMR 集群 CloudWatch 提供了全面的可观察性，使您能够实时跟踪指标和日志。本文档概述了如何执行以下操作：

先决条件和背景

默认情况下，Amazon EMR CloudWatch 每五分钟向其发送一次基本指标，不收取额外费用。在 EMR 7.0+ 版本中，您可以将代理部署到： CloudWatch

EMR 7.1 扩展了这些功能，允许您将代理配置为从 Hadoop、YARN 和组件中捕获专门的指标。 HBase 对于使用 Prometheus 的环境，可以将指标转发到 Amazon Managed Service for Prometheus。

CloudWatch 日志的代理配置

要捕获 EMR 登录信息 CloudWatch，请创建一个 c loudwatch-config.json 文件来定义要收集哪些日志文件：

cloudwatch-config.json

{
  "logs": {
    "logs_collected": {
      "files": {
        "collect_list": [
          { 
            "file_path": "/mnt/var/log/hadoop-yarn/hadoop-yarn-resourcemanager-*",
            "log_group_name": "/emr/yarn/resourcemnger",
            "log_stream_name": "{instance_id}",
            "publish_multi_logs" : true
          },
          { 
            "file_path": "/var/log/hadoop-hdfs/hadoop-hdfs-namenode-*",
            "log_group_name": "/emr/hdfs/namenode",
            "log_stream_name": "{instance_id}",
            "publish_multi_logs" : true
          }
        ]
      }
    }
}

用于 CloudWatch 代理配置的引导脚本

要将您的自定义 CloudWatch 配置应用于 EMR 节点，请创建一个引导脚本，该脚本将使用您的设置重新启动 CloudWatch 代理。此脚本可确保在集群预置后，代理使用特定日志收集参数运行。

创建引导脚本

创建一个名为 cloudwatch-agent-bootstrap.sh 的文件，其中包含以下内容：

#!/bin/bash
set -xe

EMR_SECONDARY_BA_SCRIPT=$(cat <<'EOF'
while true; do
NODEPROVISIONSTATE=$(sed -n '/localInstance [{]/,/[}]/ {/nodeProvisionCheckinRecord [{]/,/[}]/ {/status:/ p}}' /emr/instance-controller/lib/info/job-flow-state.txt | awk '{ print $2 }')

if [ "$NODEPROVISIONSTATE" == "SUCCESSFUL" ]; then
sleep 10
echo "Running my post provision bootstrap"
NODETYPE=$(cat /mnt/var/lib/instance-controller/extraInstanceData.json | jq -r '.instanceRole' | awk '{print tolower($0)}')

# Copy config file on the instance
sudo aws s3 cp s3://amzn-s3-demo-bucket1/cloudwatch-config.json /opt/aws/amazon-cloudwatch-agent/etc/stdout_log_config.json

# Start the agent with the created config file
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -m ec2 -a append-config -c file:/opt/aws/amazon-cloudwatch-agent/etc/stdout_log_config.json

# Restart CW Agent
sudo systemctl restart amazon-cloudwatch-agent

# Status CW Agent
echo "Status CW Agent"
sudo /usr/bin/amazon-cloudwatch-agent-ctl -m ec2 -a status

exit
fi

sleep 10
done
EOF
)

echo "${EMR_SECONDARY_BA_SCRIPT}" | tee -a /tmp/emr-secondary-ba.sh
chmod u+x /tmp/emr-secondary-ba.sh
/tmp/emr-secondary-ba.sh > /tmp/emr-secondary-ba.log 2>&1 &
exit 0

将示例存储桶替换为您的存储桶名称。

重要配置说明

此引导脚本将：

Hadoop、YARN 和 HBase

除了默认 CloudWatch 指标外，您还可以通过为 EMR 集群组件配置特定于应用程序的自定义指标来增强监控能力。Amazon EMR 的配置 API 提供了一种灵活的方式来精确定义要收集的指标。

配置自定义指标

您可以通过两种方式实施自定义指标收集：

创建分类文件

分类文件定义了应从您的集群中收集哪些特定组件指标。下面是用于收集自定义 Hadoop 指标的示例结构：

[
  {
    "Classification": "emr-metrics",
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=DataNodeActivity-*": "DatanodeNetworkErrors,TotalReadTime,TotalWriteTime,BytesRead,BytesWritten,RemoteBytesRead,RemoteBytesWritten,ReadBlockOpNumOps,ReadBlockOpAvgTime,WriteBlockOpNumOps,WriteBlockOpAvgTime",
          "otel.metric.export.interval": "30000"
        }
      },
      {
        "Classification": "emr-hadoop-yarn-nodemanager-metrics",
        "Properties": {
          "Hadoop:service=NodeManager,name=JvmMetrics": "MemNonHeapUsedM,MemNonHeapCommittedM,MemNonHeapMaxM,MemHeapUsedM,MemHeapCommittedM,MemHeapMaxM,MemMaxM",
          "Hadoop:service=NodeManager,name=NodeManagerMetrics": "ContainerCpuUtilization,NodeCpuUtilization,ContainersCompleted,ContainersFailed,ContainersKilled,ContainersLaunched,ContainersRolledBackOnFailure,ContainersRunning,ContainerUsedMemGB,ContainerUsedVMemGB,ContainerLaunchDurationNumOps,ContainerLaunchDurationAvgTime",
          "otel.metric.export.interval": "20000"
        }
      }
    ],
    "Properties": {}
  }
]

实施步骤

最佳实践

这种方法使您能够将监控重点放在特定 EMR 应用程序的最关键指标上，从而更深入地了解集群性能。

部署具有集成功能的 EMR 集群 CloudWatch

按照以下步骤创建 Amazon EMR 集群，该集群会自动将日志和自定义指标发送到： CloudWatch

步骤 1：启用代 CloudWatch 理

通过 AWS 管理控制台创建 EMR 集群时：

CloudWatch 代理将安装在集群中的所有节点上，使其能够按配置的时间间隔收集系统和应用程序指标。

步骤 2：添加用于日志收集的引导操作

要将 CloudWatch 代理配置为收集特定日志文件并将其转发到 CloudWatch：

此引导操作将在集群启动期间执行，确保使用您的自定义设置正确配置，以收集和转发配置文件中指定的日志文件。 CloudWatchagent

配置节点后，代理将自动开始收集日志，从而通过 CloudWatch 日志提供对集群操作的近乎实时的可见性。

步骤 3：配置自定义指标收集

要启用自定义 Hadoop、YARN 或超出默认设置的 HBase 指标的收集，请执行以下操作：

此步骤指示 CloudWatch 代理收集分类文件中定义的特定组件指标。这些指标将按您的配置中指定的时间间隔收集并发布到 CloudWatch，在那里可以对其进行可视化和分析。

自定义指标有助于更深入地了解集群的性能特征，从而更精确地监控 EMR 应用程序并排查其问题。

更新正在运行的集群的指标配置

您可以按照以下步骤修改现有 EMR 集群的指标收集设置，而不会中断操作：

利用这种重新配置功能，您能够根据工作负载要求的变化微调监控方法。 CloudWatch 代理将自动适应新的配置，无需重新启动集群或停机即可收集更新的指标集。

验证您的集成 CloudWatch

完成配置步骤后，请验证您的监控设置是否正常工作：

步骤 1：部署 EMR 集群

步骤 2：执行测试应用程序

提交多个测试 Spark 应用程序以生成有意义的指标：

应用程序完成后（或正在运行时）：

此验证过程可确认您的 CloudWatch 集成是否正确捕获了日志和指标，从而使您可以全面了解 EMR 集群的性能和应用程序行为。

访问日志组中的 CloudWatch EMR 日志

在 EMR 集群运行并正确配置 CloudWatch 代理之后，您的应用程序和系统日志将显示在日志中 CloudWatch 。请按照以下步骤访问和分析它们：

查看日志组

每个日志组都包含按实例 ID 组织的日志流，使您能够跟踪集群中特定节点的日志。

使用日志数据

日志保留

CloudWatch 日志为您的所有 EMR 日志数据提供了一个集中位置，无需通过 SSH 连接到各个集群节点来解决问题或分析应用程序行为。

在 EMR 监控控制面板中查看自定义指标

使用 CloudWatch 代理和自定义指标配置运行 EMR 集群后，您可以直接在 EMR 控制台中轻松监控这些指标：

访问自定义指标

控制面板将动态更新以显示所选指标的图表，展示一段时间内的性能趋势。

使用指标可视化

利用这种集成监控方法，您可以在统一的控制面板中跟踪标准 EMR 指标和自定义指标，从而更轻松地识别性能问题、资源限制或应用程序瓶颈，而无需离开 EMR 控制台。