使用 Amazon 监控 EMR HBase CloudWatch - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon 监控 EMR HBase CloudWatch

从 EMR 7.0 开始，亚马逊 EMR 提供 CloudWatch 亚马逊代理，用于向 Prometheus 发送指标，取代 G CloudWatch anglia 监控系统。您可以在《Amazon CloudWatch 代理配置指南》中找到更多详细信息。

EMR 7.0 A CloudWatch mazon 代理提供了基本集成，设置需要手动操作，例如下载组件和使用引导操作。但是，从EMR 7.1开始，该过程得到了简化。在 EMR 7.1 中使用 Amazon A CloudWatch gent 可以轻松监控系统级指标和应用程序特定指标，包括的指标。 HBase通过使用 EMR 配置 API，您可以快速设置和自定义指标收集流程，并选择将数据发送到哪里，可以发送到亚马逊 CloudWatch 或 Prometheus。这种灵活性可以帮助您密切关注 HBase 集群，确保它们平稳高效地运行。

使用 EMR 配置 API 来处理整个设置，使过程更加顺畅。EMR 7.1 中的 CloudWatch 代理支持三种主要的指标类型：

  • 系统指标-这些指标包括系统性能的关键指标，例如：CPU 使用率、磁盘使用率、内存使用率、网络 I/O、进程和交换使用率。

  • Hadoop 守护程序指标 — 这些指标与 Hadoop 的各个组成部分有关，包括： DataNode 指标、指标、YARN 指标和 NameNode YARN NodeManager 指标。 ResourceManager

  • HBase 指标 — 这些指标提供了 HBase对性能的见解： HBase 主指标、 HBase 区域服务器指标、 HBase REST Server 指标和 HBase Thrift Server 指标。

Using the AWS CLI

Hadoop 和 HBase 的所有指标都基于 JMX，这意味着它们使用 Java 管理扩展来提供详细的见解。您可以通过以下方式设置 Amazon A CloudWatch gent 进行监控 HBase：

  • 在使用 Amazon A CloudWatch gent 创建集群之前，请参阅先决条件。使用类似于此列表后面显示的示例的create-cluster命令。

  • 请参阅集 HBase 群支持的配置。

  • 有关设置 HBase 监控的配置示例，请参阅以下示例。有关--configuration输入，请参阅示例配置。

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

有关指标 JSON 示例配置的更多信息，请参阅设置指标。

Using the console

要通过控制台使用 Amazon CloudWatch 代理创建集群，请执行以下步骤：

通过控制台使用 CloudWatch 代理创建集群

  1. 登录 AWS Management Console，然后在 /emr 上打开亚马逊 EMR 控制台。https://console.aws.amazon.com

  2. 选择创建集群。

  3. 在名称和应用程序下，选择 7.0.0 或更高版本的 Amazon EMR 发行版。

  4. 在 “应用程序捆绑包” 下 HBase ，选择要安装到集群的其他应用程序，并在您的选择中加入 CloudWatch 代理。

  5. 展开 “软件设置”。然后，您可以在控制台中使用 JSON 或以阴影文本表示的简写语法直接输入配置。否则，您可以为具有 JSON Configurations 对象的文件提供一个 Amazon S3 URI。有关指标 JSON 示例配置的更多信息，请参阅设置指标。

  6. 继续创建集群以满足您的应用场景需求。