Amazon EMR 7.0.0 用 CloudWatch エージェントの設定

1. CloudWatch エージェントメトリクスを指定する設定ファイルを保存する Amazon S3 アカウントのバケットを作成または選択します。

2. 希望するメトリクスを指定して emr-amazon-cloudwatch-agent.json 設定ファイルを作成します。これを行うには、「CloudWatch エージェント設定ファイルの作成」で説明されている方法のいずれかを使用します。CloudWatch エージェント設定ファイルの構成の詳細については、「Amazon CloudWatch ユーザーガイド」の「手動で CloudWatch エージェント設定ファイルを作成または編集する」を参照してください。

3. 次に、GitHub の aws-emr-utilities リポジトリに移動し、以下のシステムメトリクススクリプトをダウンロードします。

   • install_system_metrics_launcher.sh - ノードがブートストラップを完了できるように、install_system_metrics.sh をダウンロードしてバックグラウンドで実行するスクリプト。

   • install_system_metrics.sh - 実行中のインスタンスがブートストラップを完了するのを待ってから、JSON ファイル内の設定をダウンロードして適用するスクリプト。

4. 各 SH ファイルを開き、amzn-s3-demo-bucket をステップ 1 のバケットの名前に置き換えます。

5. 1 つの JSON ファイルと 2 つの SH ファイルを S3 バケットにアップロードします。

6. これで、Amazon EMR コンソールに移動し、CloudWatch エージェントで新しいクラスターを作成できます。左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、[クラスターを作成] を選択します。

7. [名前とアプリケーション] セクションで、Amazon EMR リリース 7.0.0 以降を選択します。

8. [アプリケーションバンドル] で、クラスターにインストールするバンドルまたはアプリケーションを選択し、選択内容に [Amazon CloudWatch エージェント] を含めます。

9. [ブートストラップアクション] セクションで [追加] を選択します。

   • [名前] には、install_system_metrics_launcher.sh と入力します。

   • [スクリプトの場所] には、s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh を挿入します。amzn-s3-demo-bucket をお使いの S3 バケットへのパス名に置き換えます。

   • [引数] ブロックは空のままにしておきます。

10. [ブートストラップアクションを追加] を選択します。

11. 引き続き、ワークロードのニーズに合わせてクラスターを作成してください。

1. CloudWatch エージェントメトリクスを指定する設定ファイルを保存する Amazon S3 アカウントのバケットを作成または選択します。

2. 次に、GitHub の aws-emr-utilities リポジトリに移動し、以下のスクリプトをダウンロードします。

   • install_app_metrics_launcher.sh - ノードがブートストラップを完了できるように、install_app_metrics.sh をダウンロードしてバックグラウンドで実行するスクリプト。

   • install_app_metrics.sh - 実行中のインスタンスがブートストラップを完了するのを待ってから、次のステップでダウンロードする YAML ファイル内の設定をダウンロードして適用するスクリプト。

3. 各ファイルを開き、amzn-s3-demo-bucket をステップ 1 のバケットの名前に置き換えます。

4. 次に、以下の YAML マッピングファイルをダウンロードします。これらの YAML ファイルの構造については、OpenTelemetry Instrumentation for Java GitHub リポジトリ内の javaagent を参照してください。

   • datanode-metrics.yaml - Hadoop DataNode メトリクスの設定。

   • namenode-metrics.yaml - Hadoop NameNode メトリクスの設定。

   • nodemanager-metrics.yaml - Yarn NodeManager メトリクスの設定。

   • resourcemanager-metrics.yaml - Yarn ResourceManager メトリクスの設定。

5. 2 つの SH ファイルと 4 つの YAML ファイルを S3 バケットにアップロードします。

6. これで、Amazon EMR コンソールに移動し、CloudWatch エージェントで新しいクラスターを作成できます。左側のナビゲーションペインの [EMR on EC2] で [クラスター] を選択し、[クラスターを作成] を選択します。

7. [名前とアプリケーション] セクションで、Amazon EMR リリース 7.0.0 以降を選択します。

8. [アプリケーションバンドル] で、クラスターにインストールするアプリのバンドルまたはカスタムグループを選択し、選択内容に [CloudWatch エージェント] を含めます。

9. [ブートストラップアクション] セクションで [追加] を選択します。

   • [名前] には、install_app_metrics_launcher.sh と入力します。

   • [スクリプトの場所] には、s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh を挿入します。amzn-s3-demo-bucket をお使いの S3 バケットへのパス名に置き換えます。

   • [引数] ブロックは空のままにしておきます。

10. [ブートストラップアクションを追加] を選択します。

11. 引き続き、ワークロードのニーズに合わせてクラスターを作成してください。

EMR クラスターの CloudWatch エージェントを使用して Amazon Managed Service for Prometheus にメトリクスを公開する

サービスポリシーに正しいアクセス許可が付与されたら、次のステップを使用して CloudWatch エージェントを使用して Amazon Managed Service for Prometheus にメトリクスを発行するクラスターを起動します。

1. AWS Management Console または を使用して AWS CLI 、Amazon Managed Service for Prometheus ワークスペースを作成します。詳細については、「Amazon Managed Service for Prometheus ユーザーガイド」の「ワークスペースの作成」を参照してください。

2. Amazon S3 アカウントで、Amazon Managed Service for Prometheus をクラウドストレージとして指定する起動ファイルを保存するバケットを作成または選択します。

3. 次に、GitHub の aws-emr-utilities リポジトリに移動し、以下のスクリプトをダウンロードします。

   • add_prometheus_endpoint_launcher.sh - ノードがブートストラップを完了できるように、add_prometheus_endpoint.sh をダウンロードしてバックグラウンドで実行するスクリプト。

   • add_prometheus_endpoint.sh - 実行中のインスタンスがブートストラップを完了するのを待ってから、クラスターを起動するときに引数として指定した Amazon Managed Service for Prometheus エンドポイントに公開するように CloudWatch エージェントを設定するスクリプト。

4. 各ファイルを開き、amzn-s3-demo-bucket をステップ 2 のバケットの名前に置き換えます。

5. を使用して AWS CLI 、add_prometheus_endpoint_launcher.shブートストラップアクションで EMR クラスターを作成します。次のコマンドで、amzn-s3-demo-bucket をブートストラップアクションを保持するバケットに置き換え、managedpro-remote-write-workspace-url を Amazon Managed Service for Prometheus ワークスペースのリモート書き込みエンドポイントに置き換えます。必ず emr-7.0.0 またはそれ以降の Amazon EMR リリースラベルを指定してください。

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Amazon Managed Service for Prometheus を Amazon Managed Grafana 用データソースとして使用する

Amazon EMR が Amazon Managed Service for Prometheus にクラスターメトリクスを公開したら、次のステップを使用して Amazon Managed Grafana でメトリックスを視覚化できます。

1. を使用して AWS Management Console 、適切なアクセス許可を持つ Amazon Managed Grafana ワークスペースとユーザーを作成します。詳細については、「Amazon Managed Grafana ユーザーガイド」の「ワークスペースの作成」を参照してください。

2. Amazon Managed Service for Prometheus ワークスペースをデータソースとして Amazon Managed Grafana に追加します。詳細については、「Amazon Managed Grafana ユーザーガイド」の「AWS データソース設定を使用して Amazon Managed Service for Prometheus をデータソースとして追加する」を参照してください。