Configurer CloudWatch l'agent pour Amazon EMR 7.0.0

1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les métriques de l' CloudWatch agent.

2. Créez le fichier de configuration emr-amazon-cloudwatch-agent.json en spécifiant vos métriques préférées. Pour ce faire, procédez selon l'une des méthodes décrites dans la rubrique Créer le fichier de configuration de l' CloudWatch agent. Pour plus d'informations sur la structure du fichier de configuration d' CloudWatch agent, consultez la rubrique Création ou édition manuelle du fichier de configuration d' CloudWatch agent du Guide de CloudWatch l'utilisateur Amazon.

3. Accédez ensuite au aws-emr-utilities référentiel GitHub et téléchargez les scripts de métriques système suivants :

   • install_system_metrics_launcher.sh – Script qui télécharge et exécute install_system_metrics.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • install_system_metrics.sh – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans le fichier JSON.

4. Ouvrez chaque fichier SH et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 1.

5. Chargez un fichier JSON et deux fichiers SH dans votre compartiment S3.

6. Vous pouvez désormais accéder à la console Amazon EMR et créer un cluster avec l' CloudWatch agent. Sous EMR activé EC2 dans le menu de navigation de gauche, sélectionnez Clusters puis Create cluster.

7. Dans la section Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

8. Sous Offre d'applications, sélectionnez l'offre ou les applications à installer sur votre cluster, et incluez CloudWatch l'agent Amazon dans votre sélection.

9. Dans la section Actions d’amorçage, sélectionnez Ajouter.

   • Pour le Nom, insérez install_system_metrics_launcher.sh.

   • Pour l’Emplacement du script, insérez s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Remplacez amzn-s3-demo-bucket par le chemin de votre compartiment S3.

   • Laissez le bloc Arguments vide.

10. Sélectionnez Ajouter une action d'amorçage.

11. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.

1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les métriques de l' CloudWatch agent.

2. Accédez ensuite au aws-emr-utilities référentiel GitHub et téléchargez les scripts suivants :

   • install_app_metrics_launcher.sh – Script qui télécharge et exécute install_app_metrics.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • install_app_metrics.sh – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans les fichiers YAML que vous allez télécharger lors d’une prochaine étape.

3. Ouvrez chaque fichier et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 1.

4. Téléchargez ensuite les fichiers de mappage YAML suivants. Pour plus d'informations sur la structure de ces fichiers YAML, consultez javaagentle OpenTelemetry Instrumentation for Java GitHub dépôt.

   • datanode-metrics.yaml –Configuration des métriques Hadoop DataNode.

   • namenode-metrics.yaml –Configuration des métriques Hadoop NameNode.

   • nodemanager-metrics.yaml –Configuration des métriques Yarn NodeManager.

   • resourcemanager-metrics.yaml –Configuration des métriques Yarn ResourceManager.

5. Chargez les deux fichiers SH et quatre fichiers YAML dans votre compartiment S3.

6. Vous pouvez désormais accéder à la console Amazon EMR et créer un cluster avec l' CloudWatch agent. Sous EMR activé EC2 dans le menu de navigation de gauche, sélectionnez Clusters puis Create cluster.

7. Dans la section Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

8. Sous Offre d'applications, sélectionnez l'offre ou le groupe personnalisé d'applications à installer sur votre cluster, et incluez CloudWatch l'agent dans votre sélection.

9. Dans la section Actions d’amorçage, sélectionnez Ajouter.

   • Pour le Nom, insérez install_app_metrics_launcher.sh.

   • Pour l’Emplacement du script, insérez s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Remplacez amzn-s3-demo-bucket par le chemin de votre compartiment S3.

   • Laissez le bloc Arguments vide.

10. Sélectionnez Ajouter une action d'amorçage.

11. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.

Utiliser l' CloudWatch agent sur un cluster EMR pour publier des métriques sur Amazon Managed Service for Prometheus

Une fois que la politique de service dispose des autorisations appropriées, procédez comme suit pour lancer un cluster qui utilise l' CloudWatch agent pour publier des métriques sur Amazon Managed Service for Prometheus.

1. Utilisez la AWS Management Console ou la AWS CLI pour créer un Workspace Amazon Managed Service for Prometheus. Pour plus d’informations, voir la rubrique Création d’un Workspace du Guide de l’utilisateur Amazon Managed Service for Prometheus.

2. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de lancement qui spécifient Amazon Managed Service for Prometheus en tant qu’espace de stockage cloud.

3. Accédez ensuite au aws-emr-utilities référentiel GitHub et téléchargez les scripts suivants :

   • add_prometheus_endpoint_launcher.sh – Script qui télécharge et exécute add_prometheus_endpoint.sh en arrière-plan pour que le nœud puisse terminer l’amorçage.

   • add_prometheus_endpoint.sh— Script qui attend que l'instance qu'il exécute termine l'amorçage, puis configure l' CloudWatch agent à publier sur le point de terminaison Amazon Managed Service for Prometheus que vous spécifiez comme argument lorsque vous lancez votre cluster.

4. Ouvrez chaque fichier et remplacez amzn-s3-demo-bucket par le nom de votre compartiment indiqué à l’étape 2.

5. Utilisez la AWS CLI pour créer un cluster EMR avec l'action d'add_prometheus_endpoint_launcher.shamorçage. Dans la commande suivante, remplacez amzn-s3-demo-bucket par le compartiment contenant l’action d’amorçage et remplacez managedpro-remote-write-workspace-url par le point de terminaison d’écriture à distance pour votre Workspace Amazon Managed Service for Prometheus. Assurez-vous de spécifier une étiquette de version Amazon EMR emr-7.0.0 ou ultérieure.

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Utiliser Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana

Une fois qu’Amazon EMR a publié les métriques du cluster sur Amazon Managed Service for Prometheus, procédez comme suit pour visualiser les métriques avec Amazon Managed Grafana :

1. Utilisez la AWS Management Console pour créer un Workspace et un utilisateur Amazon Managed Grafana disposant des autorisations appropriées. Pour plus d’informations, voir la rubrique Création d’un Workspace du Guide de l’utilisateur Amazon Managed Grafana.

2. Ajoutez votre Workspace Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana. Pour plus d’informations, voir la rubrique Utiliser la configuration de la source de données AWS pour ajouter Amazon Managed Service for Prometheus en tant que source de données du Guide de l’utilisateur Amazon Managed Grafana.