使用 Amazon CloudWatch 監控 EMR HBase - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Amazon CloudWatch 監控 EMR HBase

從 EMR 7.0 開始，Amazon EMR 會提供 Amazon CloudWatch Agent 將指標傳送至 CloudWatch 或 Prometheus，以取代 Ganglia 監控系統。您可以在 Amazon CloudWatch 代理程式組態指南中找到更多詳細資訊。

EMR 7.0 Amazon CloudWatch 代理程式提供基本整合，並設定所需的手動工作，例如下載元件和使用引導操作。不過，從 EMR 7.1 之後，程序會簡化。在 EMR 7.1 中使用 Amazon CloudWatch Agent 可讓您輕鬆監控系統層級和應用程式特定的指標，包括 HBase 指標。透過使用 EMR 組態 API，您可以快速設定和自訂指標收集程序，並選擇將資料傳送到 Amazon CloudWatch 或 Prometheus 的位置。此彈性可協助您密切注意 HBase 叢集，確保其順暢且有效率地執行。

使用 EMR 組態 API 來處理整個設定，使程序更順暢。EMR 7.1 中的 CloudWatch Agent 支援三種主要的指標類型：

  • 系統指標 – 這些包括系統效能的關鍵指標，例如：CPU 用量、磁碟用量、記憶體用量、網路 I/O、處理程序和交換用量。

  • Hadoop 協助程式指標 – 這些指標與 Hadoop 的各種元件相關，包括：DataNode 指標、NameNode 指標、YARN NodeManager 指標和 YARN ResourceManager 指標。

  • HBase 指標 – 這些指標提供 HBase 效能的洞見：HBase Master 指標、HBase Region Server 指標、HBase REST Server 指標和 HBase Thrift Server 指標。

Using the AWS CLI

Hadoop 和 HBase 的所有指標都是 JMX 型，這表示它們使用 Java 管理延伸模組來提供詳細的洞見。以下是您可以設定 Amazon CloudWatch Agent 來監控 HBase 的方式：

  • 使用 Amazon CloudWatch Agent 建立叢集之前，請參閱先決條件。使用與此清單之後出現的範例類似的create-cluster命令。

  • 請參閱 HBase 叢集支援的組態。

  • 如需設定 HBase 監控的範例組態，請參閱下列範例。請參閱--configuration輸入的範例組態。

aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \  
--instance-count 3 --use-default-roles

如需指標的 JSON 範例組態詳細資訊，請參閱設定指標。

Using the console

若要從主控台使用 Amazon CloudWatch 代理程式建立叢集，請執行下列步驟：

從主控台使用 CloudWatch 代理程式建立叢集

  1. 登入 AWS Management Console，並在 https：//https://console.aws.amazon.com/emr 開啟 Amazon EMR 主控台。

  2. 選擇 建立叢集。

  3. 在名稱和應用程式下，選擇 7.0.0 或更高版本的 Amazon EMR 版本。

  4. 在應用程式套件下，選取您要安裝到叢集的 HBase 和其他應用程式，並在您的選擇中包含 CloudWatch 代理程式。

  5. 展開軟體設定。接著，您可以使用 JSON 或陰影文字中示範的速記語法，直接在主控台中輸入組態。否則，您可以使用 JSON Configurations 物件來提供檔案的 Amazon S3 URI。如需指標的 JSON 範例組態詳細資訊，請參閱設定指標。

  6. 繼續建立叢集以滿足您的使用案例需求。