Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# CloudWatch Agent Amazon
L' CloudWatch agent Amazon sur Amazon EMR est un outil qui permet de surveiller les instances Amazon EC2 de votre cluster EMR. Vous pouvez stocker et consulter les métriques que vous collectez avec l' CloudWatch agent dans CloudWatch. Pour plus d'informations sur l' CloudWatch agent, consultez le [https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Install-CloudWatch-Agent.html](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Install-CloudWatch-Agent.html).
**Note**
Des frais supplémentaires vous seront facturés si vous en utilisez un autre Services AWS pour publier, consulter ou consulter les statistiques des CloudWatch agents Amazon. Consultez les pages suivantes pour plus d'informations sur les tarifs.
[ CloudWatch Tarifs Amazon](https://aws.amazon.com/cloudwatch/pricing/)
[Tarification du service géré par Amazon pour Prometheus](https://aws.amazon.com/prometheus/pricing/)
[Tarification d'Amazon Managed Grafana](https://aws.amazon.com/grafana/pricing/)
Ces métriques sont distinctes des métriques gratuites qu'Amazon EMR fournit sous l'espace de `AWS/ElasticMapReduce` noms dans. CloudWatch Pour plus d'informations sur les métriques que l' CloudWatch agent ne publie pas, consultez la section [Surveillance des métriques Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/UsingEMR_ViewingMetrics.html) avec. CloudWatch
Avec Amazon EMR 7.0 et versions ultérieures, vous pouvez installer une version personnalisée de l' CloudWatch agent Amazon sur votre cluster pour collecter des métriques à partir de votre cluster EMR. CloudWatchAgent est pris en charge sur les clusters de rôles d'exécution pour EMR 7.6 et versions ultérieures. L'agent collecte les métriques de tous les nœuds du cluster, les rassemble sur le nœud principal et publie les métriques de ce nœud dans le cloud.
Vous pouvez installer l’agent lorsque vous créez un cluster dans la console ou lorsque vous utilisez l’API `create-cluster`. Pour de plus amples informations, veuillez consulter [Créez un cluster EMR qui utilise l'agent Amazon CloudWatch](AmazonCloudWatchAgent-create.md). Par défaut, un cluster Amazon EMR qui exécute la série 7.x publie [34 métriques CloudWatch au niveau du système](AmazonCloudWatchAgent-metrics.md) toutes les 60 secondes, mais vous pouvez configurer l'agent pour qu'il publie différentes métriques. Une autre option consiste à publier les statistiques sur Amazon Managed Service for Prometheus, et vous pouvez également choisir les mesures à publier. Pour différents cas d'utilisation et configurations, vous pouvez configurer l'agent pour afficher et interroger les métriques dans la CloudWatch console, Amazon Managed Grafana, ou via APIs le for CloudWatch ou Amazon Managed Service pour Prometheus. Ils Services AWS entraînent des frais lorsque vous les utilisez pour stocker et interroger des métriques.
L' CloudWatch agent sur Amazon EMR peut publier des métriques système ainsi que des métriques JMX pour les services suivants sur votre cluster Amazon EMR.
+ Hadoop DataNode
+ Hadoop NameNode
+ Laine NodeManager
+ Laine ResourceManager
+ HBase Master — Amazon EMR 7.1 ou version ultérieure uniquement
+ HBase RegionServer — Amazon EMR 7.1 et versions ultérieures uniquement
+ HBase ThriftServer — Amazon EMR 7.1 et versions ultérieures uniquement
Pour plus d'informations sur les métriques disponibles et sur la façon de configurer l' CloudWatch agent sur Amazon EMR, consultez [Configuration de l' CloudWatch agent pour Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config.html).
Le tableau suivant répertorie la version AmazonCloudWatchAgent incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants avec lesquels Amazon EMR est installé. AmazonCloudWatchAgent
Pour connaître la version des composants installés AmazonCloudWatchAgent dans cette version, consultez la [version 7.12.0 Versions des composants](emr-7120-release.md).
**AmazonCloudWatchAgent informations de version pour emr-7.12.0**
| Étiquette de version Amazon EMR | AmazonCloudWatchAgent Version | Composants installés avec AmazonCloudWatchAgent |
| --- | --- | --- |
| emr-7,12.0 | AmazonCloudWatchAgent 1.300032.2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
**Topics**
+ [Créez un cluster EMR qui utilise l'agent Amazon CloudWatch](AmazonCloudWatchAgent-create.md)
+ [Métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](AmazonCloudWatchAgent-metrics.md)
+ [Configuration de CloudWatch l'agent pour Amazon EMR](AmazonCloudWatchAgent-config.md)
+ [Considérations et restrictions](AmazonCloudWatchAgent-considerations.md)
+ [CloudWatch historique des versions de l'agent](AmazonCloudWatchAgent-release-history.md)
# Créez un cluster EMR qui utilise l'agent Amazon CloudWatch
Les procédures décrites dans cette section décrivent les étapes à suivre pour créer un cluster dans Amazon EMR avec l' CloudWatch agent Amazon depuis AWS Management Console et le. AWS CLI
**Topics**
+ [Autorisations IAM requises pour l'agent CloudWatch](#AmazonCloudWatchAgent-permissions)
+ [Point de terminaison CloudWatch d'agent requis](#AmazonCloudWatchAgent-endpoints)
+ [Créer un cluster EMR](#AmazonCloudWatchAgent-create-cluster)
## Autorisations IAM requises pour l'agent CloudWatch
L' CloudWatch agent a besoin de l'`cloudwatch:PutMetricData`autorisation Gestion des identités et des accès AWS (IAM) dans le profil d'instance Amazon EC2 pour Amazon EMR. Le rôle par défaut d’Amazon EMR dispose déjà de cette autorisation. Vous pouvez créer le rôle par défaut à partir du AWS CLI with`aws emr create-default-roles`. Pour plus d'informations, consultez [Rôle de service pour les instances EC2 de cluster (profil d'instance EC2)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-iam-role-for-ec2.html) dans le *Guide de gestion Amazon EMR*.
L’exemple de politique IAM suivant inclut l’autorisation `cloudwatch:PutMetricData`.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"cloudwatch:PutMetricData"
],
"Resource": [
"*"
],
"Sid": "AllowCLOUDWATCHPutmetricdata"
}
]
}
```
------
## Point de terminaison CloudWatch d'agent requis
Pour publier des métriques CloudWatch pour un cluster EMR dans un sous-réseau privé, créez un point de terminaison d' CloudWatch agent et associez-le au VPC dans lequel se trouve le sous-réseau privé.
Pour plus d'informations sur les CloudWatch points de terminaison de chacun Région AWS, consultez la section [ CloudWatch Points de terminaison et quotas Amazon](https://docs.aws.amazon.com/general/latest/gr/cw_region.html) dans le Guide de *référence AWS général*.
## Créer un cluster EMR
Une fois que vous avez configuré les autorisations et le point de terminaison requis pour une utilisation avec l' CloudWatch agent, utilisez le AWS Management Console ou le AWS CLI pour créer un nouveau cluster avec l'agent installé.
------
#### [ Console ]
**Pour créer un cluster avec CloudWatch l'agent Amazon depuis la console**
1. Accédez à la console Amazon EMR.
1. Choisissez **Créer un cluster**.
1. Sous **Nom et applications**, choisissez Amazon EMR 7.0.0 ou version ultérieure.
1. Sous **Ensemble d'applications**, sélectionnez le ou les applications que vous souhaitez installer sur votre cluster et incluez **CloudWatch l'agent** dans vos sélections.
1. Procédez à la création du cluster adapté à votre cas d’utilisation.
------
#### [ AWS CLI ]
Dans le AWS CLI, vous pouvez ajouter CloudWatch l'agent Amazon à un cluster avec le `--applications` paramètre pour`create-cluster`.
**Pour créer un cluster avec l' CloudWatch agent Amazon à partir du AWS CLI**
+ Lorsque vous créez un cluster, utilisez une commande similaire à la suivante pour inclure l' CloudWatch agent Amazon. Remplacez `myKey` par le nom de votre paire de clés EC2.
```
aws emr create-cluster --name "Spark cluster with CloudWatch agent" \
--release-label emr-7.0.0 \
--applications Name=Spark Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--instance-count 3 --use-default-roles
```
Pour plus de détails sur l'utilisation d'Amazon EMR avec le AWS CLI, consultez la référence des [AWS CLI commandes](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/emr/index.html).
------
# Métriques par défaut pour les CloudWatch agents utilisant Amazon EMR
Lorsque vous installez l' CloudWatch agent Amazon sur Amazon EMR, la configuration par défaut publie les métriques système suivantes pour toutes les instances de votre cluster, sauf si vous [configurez l'agent différemment](AmazonCloudWatchAgent-config.md). Pour les définitions de chaque métrique, consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html) dans le *guide de CloudWatch l'utilisateur Amazon*.
------
#### [ CPU ]
**Métriques de processeur**
+ `cpu_usage_active`
+ `cpu_usage_guest`
+ `cpu_usage_guest_nice`
+ `cpu_usage_idle`
+ `cpu_usage_iowait`
+ `cpu_usage_irq`
+ `cpu_usage_nice`
+ `cpu_usage_softirq`
+ `cpu_usage_steal`
+ `cpu_usage_system`
+ `cpu_usage_user`
------
#### [ Disk ]
**Métriques de disque**
+ `disk_free`
+ `disk_total`
+ `disk_used`
+ `disk_used_percent`
------
#### [ Memory ]
**Métrique de mémoire**
+ `mem_active`
+ `mem_available`
+ `mem_available_percent`
+ `mem_free`
+ `mem_inactive`
+ `mem_total`
+ `mem_used`
+ `mem_used_percent`
+ `mem_buffered`
+ `mem_cached`
------
#### [ Network IO ]
**Métriques d’E/S réseau**
+ `net_bytes_recv`
+ `net_bytes_sent`
+ `net_packets_recv`
+ `net_packets_sent`
------
#### [ Process ]
**Métriques de traitement**
+ `processes_running`
+ `processes_total`
------
#### [ Swap ]
**Métriques d’échange**
+ `swap_free`
+ `swap_used`
+ `swap_used_percent`
------
Par défaut, l'agent publie toutes les métriques CloudWatch dans l'espace de noms `CWAgent` personnalisé et sous le schéma`cluster.id`,, `instance.id``node.type`,`service.name`. Suivez les étapes suivantes pour consulter les métriques par défaut publiées par l' CloudWatch agent pour Amazon EMR :
1. Accédez à la CloudWatch console Amazon.
1. Sélectionnez l’onglet **Métriques**, puis **Toutes les métriques**.
1. Sous **Espaces de noms personnalisés**, sélectionnez **`CWAgent`**. Sélectionnez ensuite le schéma : **`cluster.id`,`instance.id`,`node.type`, `service.name`**.
1. Continuez à interroger les métriques depuis l' CloudWatch interface selon votre cas d'utilisation.
Amazon EMR attache les étiquettes suivantes à chaque métrique :. `["cluster.id", "instance.id', "node.type", "service.name"]` Tenez compte des éléments suivants en ce qui concerne ces étiquettes :
+ La valeur de l’étiquette `cluster.id` correspond à l’ID du cluster EMR qui a produit la métrique. `j-123456789ABC` est un exemple de valeur pour l’étiquette `cluster.id`.
+ La valeur de l’étiquette `instance.id` correspond à l’ID de l’instance du cluster EMR qui a produit la métrique. `i-01bcf5f140f3355777` est un exemple de valeur pour l’étiquette `instance.id`.
+ La valeur de l'`node.type`étiquette représente le type de nœud de l'instance du cluster qui a produit la métrique. Cette valeur peut être soit `master``core`, soit`task`.
+ La valeur de l’étiquette `service.name` correspond au nom du service qui a produit la métrique. La valeur de `service.name` par défaut pour les métriques système par défaut est `system`.
**Note**
La version 7.0.0 d'Amazon EMR utilise un schéma d'étiquette métrique légèrement différent. `cluster.id`est `jobflow.id` et `node.type` n'est pas disponible. `instance.id`et `service.name` sont disponibles.
# Configuration de CloudWatch l'agent pour Amazon EMR
Amazon EMR 7.0.0 et versions ultérieures incluent l'agent Amazon. CloudWatch Les sections suivantes décrivent comment configurer l'agent sur votre cluster EMR comme décrit dans. [Créez un cluster EMR qui utilise l'agent Amazon CloudWatch](AmazonCloudWatchAgent-create.md)
**Topics**
+ [Configurer CloudWatch l'agent pour Amazon EMR 7.1.0](AmazonCloudWatchAgent-config-710.md)
+ [Configurer CloudWatch l'agent pour Amazon EMR 7.0.0](AmazonCloudWatchAgent-config-700.md)
# Configurer CloudWatch l'agent pour Amazon EMR 7.1.0
À partir d'Amazon EMR 7.1.0, vous pouvez configurer l' CloudWatch agent Amazon pour utiliser des métriques système supplémentaires, ajouter des métriques d'application et modifier la destination des métriques à l'aide de l'API de configuration Amazon EMR. Pour plus d'informations sur l'utilisation de l'API de configuration EMR pour configurer les applications de votre cluster, consultez la section [Configurer](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html) les applications.
**Note**
La version 7.1.0 ne prend en charge que le type de reconfiguration. `OVERWRITE` Pour plus d'informations sur les types de reconfiguration, consultez la section [Considérations relatives à la reconfiguration d'un groupe d'instances](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html#emr-configure-apps-running-cluster-considerations).
**Topics**
+ [Schéma de configuration](#AmazonCloudWatchAgent-config-710-config-schema)
+ [Exemples de configurations de métriques du système](#AmazonCloudWatchAgent-config-710-system-examples)
+ [Exemples de configurations de métriques d'applications](#AmazonCloudWatchAgent-config-710-application-examples)
+ [Exemple d'Amazon Managed Service pour Prometheus](#AmazonCloudWatchAgent-config-710-prometheus-examples)
## Schéma de configuration
`emr-metrics`possède les classifications suivantes :
+ `emr-system-metrics`— configurez les métriques du système, telles que le processeur, le disque et la mémoire.
+ `emr-hadoop-hdfs-datanode-metrics`— configurer les métriques Hadoop JMX DataNode
+ `emr-hadoop-hdfs-namenode-metrics`— configurer les métriques Hadoop JMX NameNode
+ `emr-hadoop-yarn-nodemanager-metrics`— configure les métriques Yarn NodeManager JMX
+ `emr-hadoop-yarn-resourcemanager-metrics`— configure les métriques Yarn ResourceManager JMX
+ `emr-hbase-master-metrics`— configurer les HBase métriques JMX principales
+ `emr-hbase-region-server-metrics`— configurer les métriques JMX de HBase Region Server
+ `emr-hbase-rest-server-metrics`— configurer les métriques JMX du serveur HBase REST
+ `emr-hbase-thrift-server-metrics`— configurer les métriques HBase JMX de Thrift Server
Les tableaux suivants décrivent les propriétés et les configurations disponibles pour toutes les classifications.
**propriétés emr-metrics**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics\$1destination | Facultatif | Détermine si les métriques du cluster sont publiées sur Amazon CloudWatch ou sur Amazon Managed Service for Prometheus. | « MONTRE DANS LES NUAGES » | « CLOUDWATCH », « PROMÉTHÉE » | Cette propriété ne distingue pas les majuscules et minuscules. Par exemple, « Cloudwatch » est identique à « CLOUDWATCH ». |
| prometheus\$1endpoint | Facultatif | Si elle metrics\$1destination est définie sur « PROMETHEUS », cette propriété configure l' CloudWatch agent pour qu'il envoie des métriques au point de terminaison d'écriture à distance Amazon Managed Service for Prometheus fourni. | N/A | Toute URL d'écriture à distance valide d'Amazon Managed Service for Prometheus. Le format de l'URL d'écriture à distance est https://aps-workspaces..amazonaws.com/workspaces//api/v1/remote_write
| Ce champ est obligatoire s'il metrics\$1destination est défini sur « PROMETHEUS ». Le provisionnement échouera si vous ne fournissez pas de clé ou si la valeur est une chaîne vide. |
**emr-system-metrics propriétés**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics\$1collection\$1interval | Facultatif | Fréquence en quelques secondes à laquelle les métriques sont collectées et publiées par l' CloudWatch agent. | « 60 » | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Vous pouvez remplacer cette propriété par la metrics\$1collection\$1interval propriété provenant de groupes de mesures individuels. |
**emr-system-metrics configurations**
------
#### [ cpu ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques du processeur que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de processeur valides avec ou sans le cpu\$1 préfixe, tel que et. usage\$1active cpu\$1time\$1idle Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Spécifier une chaîne vide signifie ne publier aucune métrique du processeur. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques du processeur. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques du processeur. |
| drop\$1original\$1metrics | Facultatif | Liste des mesures du processeur pour lesquelles il ne faut pas publier de mesures non agrégées. | Aucune métrique non agrégée du processeur n'a été publiée. | Liste séparée par des virgules de métriques du processeur qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du processeur doivent être publiées. | L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources. |
| resources | Facultatif | Détermine si l'agent publiera des métriques par cœur. | "\$1" | « \$1 » active les métriques par cœur. « » désactive les métriques par cœur. | L' CloudWatch agent publie uniquement les métriques par cœur pour les métriques du processeur qui ne sont pas enregistrées. drop\$1original\$1metrics |
------
#### [ disk ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques de disque que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de disque valides avec ou sans le disk\$1 préfixe, tel que et. disk\$1total used\$1percent Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique de disque. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques du disque. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques de disque. |
| drop\$1original\$1metrics | Facultatif | Liste des mesures de disque pour lesquelles il ne faut pas publier de mesures non agrégées. | Aucune métrique de disque non agrégée n'a été publiée. | Liste séparée par des virgules de métriques de disque qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du disque doivent être publiées. | L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources. |
| resources | Facultatif | Détermine si l'agent publiera per-mount-point des métriques. | "\$1" | « \$1 » signifie tous les points de montage, « » signifie aucun point de montage ou une liste de points de montage séparés par des virgules. Par exemple, "/,/emr". | L' CloudWatch agent publie uniquement per-mount-point les métriques de disque qui ne sont pas enregistréesdrop\$1original\$1metrics. |
------
#### [ diskio ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques d'E/S de disque que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques d'E/S de disque valides avec ou sans le diskio\$1 préfixe, tel que et. diskio\$1reads writes Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique d'E/S sur disque. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques d'E/S du disque. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques d'E/S de disque. |
| drop\$1original\$1metrics | Facultatif | Liste des mesures d'E/S sur disque pour lesquelles il ne faut pas publier de mesures non agrégées. | Aucune métrique d'E/S de disque non agrégée n'a été publiée. | Liste séparée par des virgules de métriques d'E/S sur disque qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques d'E/S du disque doivent être publiées. | L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources. |
| resources | Facultatif | Détermine si l'agent publiera des métriques par appareil. | "\$1" | « \$1 » désigne tous les périphériques de stockage, « » signifie aucun périphérique de stockage ou une liste de noms de périphériques séparés par des virgules. Par exemple, "nvme0n1,nvme1n1". | L' CloudWatch agent publie uniquement les métriques par appareil pour les métriques d'E/S sur disque qui ne sont pas introduites. drop\$1original\$1metrics |
------
#### [ mem ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques de mémoire que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le mem\$1 préfixe, tels que et. mem\$1available available\$1percent Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Spécifier une chaîne vide signifie ne publier aucune métrique de mémoire. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques de mémoire. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques de mémoire. |
------
#### [ net ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques réseau que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques réseau valides avec ou sans le net\$1 préfixe, tels que et. net\$1packets\$1sent packets\$1recv Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique réseau. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques du réseau. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques du réseau. |
| drop\$1original\$1metrics | Facultatif | Liste des mesures réseau pour lesquelles il ne faut pas publier de mesures non agrégées. | Aucune métrique de réseau non agrégée n'a été publiée. | Liste séparée par des virgules de métriques réseau qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du réseau doivent être publiées. | L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources. |
| resources | Facultatif | Détermine si l'agent publiera des métriques par interface. | "\$1" | « \$1 » signifie toutes les interfaces réseau, « » signifie aucune interface réseau ou une liste de noms d'interfaces séparés par des virgules. Par exemple, "eth0,eth1". | L' CloudWatch agent publie uniquement les métriques par interface pour les métriques réseau qui ne sont pas intégrées. drop\$1original\$1metrics |
------
#### [ netstat ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des statistiques réseau que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le netstat\$1 préfixe, tels que et. tcp\$1listen netstat\$1udp\$1socket Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique statistique du réseau. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les statistiques du réseau. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques statistiques du réseau. |
------
#### [ processes ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | Liste des métriques de processus que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le processes\$1 préfixe, tels que et. processes\$1running total Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique de processus. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques des processus du système. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques de processus du système. |
------
#### [ swap ]
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles | Remarques |
| --- | --- | --- | --- | --- | --- |
| metrics | Facultatif | La liste des métriques de swap que l'agent doit collecter. | Voir les [métriques par défaut pour les CloudWatch agents utilisant Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-metrics.html) | Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le swap\$1 préfixe, tels que et. swap\$1free used\$1percent Consultez la section [Mesures collectées par l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html#linux-metrics-enabled-by-CloudWatch-agent) pour connaître les mesures valides. | Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique de swap. |
| metrics\$1collection\$1interval | Facultatif | Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques de swap. | La valeur du globalmetrics\$1collection\$1interval. | Chaîne indiquant le nombre de secondes. Accepte uniquement les nombres entiers. | Cette valeur remplace la metrics\$1collection\$1interval propriété globale uniquement pour les métriques de swap. |
------
**emr-hadoop-hdfs-datanode-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=DataNode,name=DataNodeActivity. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BlocksCached,BlocksRead. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques Hadoop DataNode | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hadoop-hdfs-namenode-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=NameNode,name=FSNamesystem. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BlockCapacity,CapacityUsedGB. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques Hadoop NameNode | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hadoop-yarn-nodemanager-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=NodeManager,name=NodeManagerMetrics. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, MaxCapacity,AllocatedGB. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques Hadoop YARN. NodeManager | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hadoop-yarn-resourcemanager-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=ResourceManager,name=PartitionQueueMetrics. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, MaxCapacity,MaxCapacityVCores. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques Hadoop YARN. ResourceManager | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hbase-master-metrics propriétés**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=HBase,name=Master,sub=AssignmentManager. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, AssignFailedCount,AssignSubmittedCount. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte HBase des métriques principales. | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hbase-region-server-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=HBase,name=RegionServer,sub=IPC. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, numActiveHandler,numActivePriorityHandler. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques du serveur HBase régional. | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hbase-rest-server-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=HBase,name=REST. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, successfulPut,successfulScanCount. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques du serveur HBase Rest. | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
**emr-hbase-thrift-server-propriétés des métriques**
| Propriété | Obligatoire | Description | Valeur par défaut | Valeurs possibles |
| --- | --- | --- | --- | --- |
| | Facultatif | N/A | L' CloudWatch agent à partir duquel MBean cet agent doit collecter des métriques, telles queHadoop:service=HBase,name=Thrift,sub=ThriftOne. Vous trouverez des exemples de MBean noms et les métriques correspondantes dans les [exemples de fichiers YAML JMX](https://github.com/aws-samples/aws-emr-utilities/tree/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings) pour Amazon EMR version 7.0. | Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BatchGet\$1max,BatchGet\$1mean. |
| otel.metric.export.interval | Facultatif | Fréquence, en millisecondes, de collecte des métriques du serveur HBase Thrift. | « 60 000 » | Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers. |
## Exemples de configurations de métriques du système
L'exemple suivant montre comment configurer l' CloudWatch agent pour arrêter d'exporter toutes les métriques du système.
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {},
"Configurations": []
}
]
}
]
```
L'exemple suivant configure l' CloudWatch agent pour exporter les métriques système par défaut. Cela constitue un moyen rapide de réinitialiser l'agent pour qu'il n'exporte les métriques système par défaut que si vous les avez déjà reconfigurées au moins une fois. Cette réinitialisation supprime également toutes les métriques d'application qui ont été reconfigurées auparavant.
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": []
}
]
```
L'exemple suivant configure le cluster pour exporter les `disk` métriques `cpu``mem`,, et.
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {
"metrics_collection_interval": "20"
},
"Configurations": [
{
"Classification": "cpu",
"Properties": {
"metrics": "cpu_usage_guest,cpu_usage_idle",
"metrics_collection_interval": "30",
"drop_original_metrics": "cpu_usage_guest"
}
},
{
"Classification": "mem",
"Properties": {
"metrics": "mem_active"
}
},
{
"Classification": "disk",
"Properties": {
"metrics": "disk_used_percent",
"resources": "/,/mnt",
"drop_original_metrics": ""
}
}
]
}
]
}
]
```
L'exemple de configuration précédent possède les propriétés suivantes :
+ Toutes les 30 secondes, l'agent collecte la `cpu_guest` métrique pour tous CPUs. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch noms`CWAgent > cluster.id, instance.id, node.type, service.name`.
+ Toutes les 30 secondes, l'agent collecte la `cpu_idle` métrique pour tous CPUs. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch noms`CWAgent > cluster.id, instance.id, node.type, service.name`. L'agent collecte également les métriques par processeur. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique parce que la `drop_original_metrics` propriété ne contient pas`cpu_idle`, il n'ignore donc pas la métrique.
+ Toutes les 20 secondes, l'agent collecte la `mem_active` métrique. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch noms`CWAgent > cluster.id, instance.id, node.type, service.name`.
+ Toutes les 20 secondes, l'agent collecte les `disk_used_percent` métriques pour les montages `/mnt` sur disque `/` et. Vous pouvez trouver les métriques agrégées sous l'espace de CloudWatch noms`CWAgent > cluster.id, instance.id, node.type, service.name`. L'agent collecte également les métriques par montage. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique parce que la `drop_original_metrics` propriété ne contient pas`disk_used_percent`, il n'ignore donc pas la métrique.
## Exemples de configurations de métriques d'applications
L'exemple suivant configure l' CloudWatch agent pour arrêter d'exporter les métriques pour le service Hadoop Namenode.
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {},
"Configurations": []
}
]
}
]
```
L'exemple suivant configure un cluster pour exporter les métriques d'applications Hadoop.
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {
"Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
"otel.metric.export.interval": "20000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-hdfs-datanode-metrics",
"Properties": {
"Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
"otel.metric.export.interval": "30000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-yarn-resourcemanager-metrics",
"Properties": {
"Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
},
"Configurations": []
}
]
}
]
```
L'exemple précédent possède les propriétés suivantes :
+ Toutes les 20 secondes, l'agent collecte les `CapacityUsedGB` métriques `BlockCapacity` et auprès des instances exécutant le service Hadoop Namenode.
+ Toutes les 30 secondes, l'agent collecte les `MemNonHeapUsedM` métriques des instances exécutant le service Hadoop Datanode.
+ Toutes les 30 secondes, l'agent collecte les `NodeUpdateNumOps` métriques `AllocateNumOps` et à partir des instances qui exécutent le Hadoop YARN. ResourceManaager
## Exemple d'Amazon Managed Service pour Prometheus
L'exemple suivant montre comment configurer l' CloudWatch agent pour exporter des métriques vers Amazon Managed Service for Prometheus.
Si vous exportez actuellement des métriques vers Amazon Managed Service for Prometheus et que vous souhaitez reconfigurer les métriques pour le cluster et continuer à exporter des métriques vers Amazon Managed Service for Prometheus, vous devez inclure les propriétés et. `metrics_destination` `prometheus_endpoint`
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
},
"Configurations": []
}
]
```
Pour utiliser l' CloudWatch agent vers lequel exporter des métriques CloudWatch, utilisez l'exemple suivant.
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]
```
**Note**
L' CloudWatch agent dispose d'un exportateur Prometheus qui renomme certains attributs. Pour les libellés de statistiques par défaut, Amazon Managed Service for Prometheus utilise des caractères de soulignement à la place des points utilisés par Amazon. CloudWatch Si vous utilisez Amazon Managed Grafana pour visualiser les métriques par défaut dans Amazon Managed Service for Prometheus, les libellés apparaissent sous la forme,, et. `cluster_id` `instance_id` `node_type` `service_name`
# Configurer CloudWatch l'agent pour Amazon EMR 7.0.0
Vous pouvez configurer l' CloudWatch agent Amazon pour utiliser des métriques système supplémentaires au-delà de celles fournies [par la configuration de l' CloudWatch agent par défaut](AmazonCloudWatchAgent-metrics.md). La configuration de la version 7.0.0 requiert l’utilisation d’actions d’amorçage, dont nous avons fourni des exemples dans les sections suivantes. Dans une prochaine version, Amazon EMR fournira des options de configuration supplémentaires via l’API Amazon EMR.
**Topics**
+ [Configurer des métriques système supplémentaires avec Amazon EMR 7.0.0](#AmazonCloudWatchAgent-config-700-add-metrics)
+ [Configurer les métriques d’application avec Amazon EMR 7.0.0](#AmazonCloudWatchAgent-config-700-app-metrics)
+ [Configurer Amazon Managed Service for Prometheus en tant que stockage cloud pour les métriques avec Amazon EMR 7.0.0](#AmazonCloudWatchAgent-config-700-prometheus)
## Configurer des métriques système supplémentaires avec Amazon EMR 7.0.0
Pour configurer l’agent afin d’utiliser un ensemble différent de métriques système dans Amazon EMR 7.0.0, procédez comme suit :
1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les métriques de l' CloudWatch agent.
1. Créez le fichier de configuration `emr-amazon-cloudwatch-agent.json` en spécifiant vos métriques préférées. Pour ce faire, utilisez l'une des méthodes expliquées dans la section [Création du fichier de configuration de l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/create-cloudwatch-agent-configuration-file.html). Pour plus d'informations sur la structure du fichier de configuration de l' CloudWatch agent, consultez la section [Création ou modification manuelle du fichier de configuration de l' CloudWatch agent](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Agent-Configuration-File-Details.html) dans le *guide de CloudWatch l'utilisateur Amazon*.
1. Accédez ensuite au **aws-emr-utilities** dépôt GitHub et téléchargez les scripts de métriques système suivants :
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/system-metrics/install_system_metrics_launcher.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/system-metrics/install_system_metrics_launcher.sh)** – Script qui télécharge et exécute `install_system_metrics.sh` en arrière-plan pour que le nœud puisse terminer l’amorçage.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/system-metrics/install_system_metrics.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/system-metrics/install_system_metrics.sh)** – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans le fichier JSON.
1. Ouvrez chaque fichier SH et remplacez `amzn-s3-demo-bucket` par le nom de votre compartiment indiqué à l’étape 1.
1. Chargez un fichier JSON et deux fichiers SH dans votre compartiment S3.
1. Vous pouvez désormais accéder à la console Amazon EMR et créer un nouveau cluster avec l' CloudWatch agent. Dans le volet de navigation de gauche, sous **EMR sur EC2**, sélectionnez **Clusters**, puis **Créer un cluster**.
1. Dans la section **Nom et applications**, choisissez Amazon EMR 7.0.0 ou version ultérieure.
1. Sous **Bundle d'applications**, sélectionnez le bundle ou les applications que vous souhaitez installer sur votre cluster, et incluez **Amazon CloudWatch Agent** dans vos sélections.
1. Dans la section **Actions d’amorçage**, sélectionnez **Ajouter**.
+ Pour le **Nom**, insérez **install\$1system\$1metrics\$1launcher.sh**.
+ Pour l’**Emplacement du script**, insérez **s3://*amzn-s3-demo-bucket*/install\$1system\$1metrics\$1launcher.sh**. Remplacez `amzn-s3-demo-bucket` par le chemin de votre compartiment S3.
+ Laissez le bloc **Arguments** vide.
1. Sélectionnez **Ajouter une action d'amorçage**.
1. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.
Lorsque votre cluster est lancé, l' CloudWatch agent publie les métriques système que vous avez spécifiées dans le fichier de configuration sur CloudWatch.
## Configurer les métriques d’application avec Amazon EMR 7.0.0
Vous pouvez configurer l' CloudWatch agent Amazon pour publier des métriques d'application pour HDFS et YARN en plus des métriques du système. Pour configurer l’agent de sorte à publier des métriques d’application, procédez comme suit :
1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de configuration qui spécifient les métriques de l' CloudWatch agent.
1. Accédez ensuite au **aws-emr-utilities** dépôt GitHub et téléchargez les scripts suivants :
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/install_app_metrics_launcher.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/install_app_metrics_launcher.sh)** – Script qui télécharge et exécute `install_app_metrics.sh` en arrière-plan pour que le nœud puisse terminer l’amorçage.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/install_app_metrics.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/install_app_metrics.sh)** – Script qui attend que l’instance qu’il exécute termine l’amorçage, puis télécharge et applique la configuration dans les fichiers YAML que vous allez télécharger lors d’une prochaine étape.
1. Ouvrez chaque fichier et remplacez `amzn-s3-demo-bucket` par le nom de votre compartiment indiqué à l’étape 1.
1. Téléchargez ensuite les fichiers de mappage YAML suivants. Pour plus d'informations sur la structure de ces fichiers YAML, consultez [https://github.com/open-telemetry/opentelemetry-java-instrumentation/tree/main/instrumentation/jmx-metrics/javaagent](https://github.com/open-telemetry/opentelemetry-java-instrumentation/tree/main/instrumentation/jmx-metrics/javaagent)le *OpenTelemetry Instrumentation for Java* GitHub dépôt.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/datanode-metrics.yaml](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/datanode-metrics.yaml)** –Configuration des métriques Hadoop DataNode.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/namenode-metrics.yaml](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/namenode-metrics.yaml)** –Configuration des métriques Hadoop NameNode.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/nodemanager-metrics.yaml](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/nodemanager-metrics.yaml)** –Configuration des métriques Yarn NodeManager.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/resourcemanager-metrics.yaml](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/application-metrics/mappings/resourcemanager-metrics.yaml)** –Configuration des métriques Yarn ResourceManager.
1. Chargez les deux fichiers SH et quatre fichiers YAML dans votre compartiment S3.
1. Vous pouvez désormais accéder à la console Amazon EMR et créer un nouveau cluster avec l' CloudWatch agent. Dans le volet de navigation de gauche, sous **EMR sur EC2**, sélectionnez **Clusters**, puis **Créer un cluster**.
1. Dans la section **Nom et applications**, choisissez Amazon EMR 7.0.0 ou version ultérieure.
1. Sous **Ensemble d'**applications, sélectionnez le bundle ou le groupe personnalisé d'applications que vous souhaitez installer sur votre cluster, et incluez **CloudWatch l'agent** dans vos sélections.
1. Dans la section **Actions d’amorçage**, sélectionnez **Ajouter**.
+ Pour le **Nom**, insérez **install\$1app\$1metrics\$1launcher.sh**.
+ Pour l’**Emplacement du script**, insérez **s3://*amzn-s3-demo-bucket*/install\$1app\$1metrics\$1launcher.sh**. Remplacez `amzn-s3-demo-bucket` par le chemin de votre compartiment S3.
+ Laissez le bloc **Arguments** vide.
1. Sélectionnez **Ajouter une action d'amorçage**.
1. Continuez à créer le cluster pour répondre à vos besoins en matière de charge de travail.
Lorsque votre cluster est lancé, l' CloudWatch agent publie les métriques d'application que vous avez spécifiées ainsi que les métriques système dans CloudWatch.
## Configurer Amazon Managed Service for Prometheus en tant que stockage cloud pour les métriques avec Amazon EMR 7.0.0
Vous pouvez configurer l' CloudWatch agent Amazon pour qu'il publie les métriques sur Amazon Managed Service for Prometheus au lieu de. CloudWatch
**Note**
Vous pouvez publier les métriques de l' CloudWatch agent Amazon sur Amazon Managed Service for Prometheus ou sur CloudWatch Amazon, mais vous ne pouvez pas publier les métriques sur les deux services pour le même cluster.
Pour configurer l'agent afin de publier des métriques sur Amazon Managed Service for Prometheus, vous devez ajouter `aps:RemoteWrite` Gestion des identités et des accès AWS l'autorisation (IAM) au profil d'instance Amazon EC2 pour Amazon EMR. L’exemple de politique suivant contient les autorisations requises :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"aps:RemoteWrite"
],
"Resource": [
"*"
],
"Sid": "AllowAPSRemotewrite"
}
]
}
```
------
**Utiliser l' CloudWatch agent sur un cluster EMR pour publier des métriques sur Amazon Managed Service for Prometheus**
Une fois que la politique de service dispose des autorisations appropriées, suivez les étapes suivantes pour lancer un cluster qui utilise l' CloudWatch agent pour publier des métriques sur Amazon Managed Service for Prometheus.
1. Utilisez le AWS Management Console ou AWS CLI pour créer un espace de travail Amazon Managed Service pour Prometheus. Pour plus d’informations, voir la rubrique [Création d’un Workspace](https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-onboard-create-workspace.html) du *Guide de l’utilisateur Amazon Managed Service for Prometheus*.
1. Créez ou choisissez un compartiment dans votre compte Amazon S3 dans lequel vous souhaitez stocker les fichiers de lancement qui spécifient Amazon Managed Service for Prometheus en tant qu’espace de stockage cloud.
1. Accédez ensuite au **aws-emr-utilities** dépôt GitHub et téléchargez les scripts suivants :
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/prometheus/add_prometheus_endpoint_launcher.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/prometheus/add_prometheus_endpoint_launcher.sh)** – Script qui télécharge et exécute `add_prometheus_endpoint.sh` en arrière-plan pour que le nœud puisse terminer l’amorçage.
+ **[https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/prometheus/add_prometheus_endpoint.sh](https://github.com/aws-samples/aws-emr-utilities/blob/main/applications/cloudwatch-agent/configuration/7.0/prometheus/add_prometheus_endpoint.sh)**— Un script qui attend la fin du démarrage de l'instance sur laquelle il s'exécute, puis configure l' CloudWatch agent à publier sur le point de terminaison Amazon Managed Service for Prometheus que vous fournissez comme argument lorsque vous lancez votre cluster.
1. Ouvrez chaque fichier et remplacez `amzn-s3-demo-bucket` par le nom de votre compartiment indiqué à l’étape 2.
1. Utilisez le AWS CLI pour créer un cluster EMR avec l'action `add_prometheus_endpoint_launcher.sh` bootstrap. Dans la commande suivante, remplacez `amzn-s3-demo-bucket` par le compartiment contenant l’action d’amorçage et remplacez `managedpro-remote-write-workspace-url` par le point de terminaison d’écriture à distance pour votre Workspace Amazon Managed Service for Prometheus. Assurez-vous de spécifier une étiquette de version Amazon EMR `emr-7.0.0` ou ultérieure.
```
aws emr create-cluster --name managedpro-cluster \
--release-label emr-7.0.0 \
--applications Name=Hadoop Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--instance-count 3 --use-default-roles
--bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'
```
Lorsque votre cluster est lancé, l' CloudWatch agent publie les métriques qu'il collecte sur Amazon Managed Service for Prometheus.
**Utiliser Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana**
Une fois qu’Amazon EMR a publié les métriques du cluster sur Amazon Managed Service for Prometheus, procédez comme suit pour visualiser les métriques avec Amazon Managed Grafana :
1. Utilisez le AWS Management Console pour créer un espace de travail et un utilisateur Amazon Managed Grafana disposant des autorisations appropriées. Pour plus d’informations, voir la rubrique [Création d’un Workspace](https://docs.aws.amazon.com/grafana/latest/userguide/AMG-create-workspace.html) du *Guide de l’utilisateur Amazon Managed Grafana*.
1. Ajoutez votre Workspace Amazon Managed Service for Prometheus en tant que source de données pour Amazon Managed Grafana. Pour plus d’informations, voir la rubrique [Utiliser la configuration de la source de données AWS pour ajouter Amazon Managed Service for Prometheus en tant que source de données](https://docs.aws.amazon.com/grafana/latest/userguide/AMP-adding-AWS-config.html) du *Guide de l’utilisateur Amazon Managed Grafana*.
**Note**
L' CloudWatch agent dispose d'un exportateur Prometheus qui renomme certains attributs. Pour les libellés de statistiques par défaut, Amazon Managed Service for Prometheus utilise des caractères de soulignement à la place des points utilisés par Amazon. CloudWatch Si vous utilisez Amazon Managed Grafana pour visualiser les métriques par défaut dans Amazon Managed Service for Prometheus, les étiquettes s’affichent sous la forme `jobflow_id`, `instance_id` et `service_name`.
De plus, toutes les métriques **d'application** publiées par l' CloudWatch agent sur Amazon Managed Service for Prometheus utilisent l'étiquette à la place de`job`. `service_name` Cependant, les métriques **système** continuent d’utiliser l’étiquette `service_name`.
# Considérations et restrictions
+ L' CloudWatch agent Amazon natif est disponible pour les clusters que vous créez avec les versions 7.0.0 et supérieures d'Amazon EMR.
+ [La configuration de l' CloudWatch agent dans Amazon EMR 7.0.0 nécessite l'utilisation d'actions bootstrap.](AmazonCloudWatchAgent-config-700.md) Dans une prochaine version, Amazon EMR fournira des options de configuration supplémentaires via l’API Amazon EMR.
+ Vous ne pouvez pas installer l' CloudWatch agent Amazon EMR si vous l'avez déjà déployé par une autre méthode, telle que l' CloudWatch agent ( AWS Systems Manager agent SSM) dans la région dans laquelle vous créez votre cluster. Cette opération entraînera l’arrêt de votre cluster avec des erreurs.
+ L' CloudWatch GetMetricData API prend en charge jusqu'à 500 métriques par demande. **Si votre cluster Amazon EMR contient plus de 250 nœuds dans un groupe d'instances ou un parc, les graphiques correspondants dans le tableau de bord CloudWatch intégré à EMR apparaîtront vides avec l'erreur **Trop de métriques car ces métriques** nécessitent deux points de données par métrique dans le tableau de bord d'aperçu du cluster.** Toutefois, en filtrant les tableaux de bord des **groupes d'instances **principaux** ou de tâches** (ou du parc), vous pourrez afficher les graphiques correspondant à un maximum de 500 nœuds par groupe d'instances ou parc. Cela est dû au fait qu'ils ne nécessitent pas deux points de données par métrique. Au-delà de 500 nœuds par groupe d'instances ou parc, l'erreur **Too many metrics** se produit également pour les métriques de ces tableaux de bord.
# CloudWatch historique des versions de l'agent
Le tableau suivant répertorie la version AmazonCloudWatchAgent incluse dans chaque version d'Amazon EMR, ainsi que les composants installés avec l'application. Pour connaître les versions des composants de chaque version, consultez la section Version des composants de votre version dans [Versions Amazon EMR 7.x](emr-release-7x.md), [Versions Amazon EMR 6.x](emr-release-6x.md) ou [Versions Amazon EMR 5.x](emr-release-5x.md).
**AmazonCloudWatchAgent informations sur la version**
| Étiquette de version Amazon EMR | AmazonCloudWatchAgent Version | Composants installés avec AmazonCloudWatchAgent |
| --- | --- | --- |
| emr-7,12.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.11.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.10.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7,9.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7,8.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7,7.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.6.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.5.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.4.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.3.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.2.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.1.0 | 1,300032,2-amzn-0 | adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server |
| emr-7.0.0 | 1.300031.1-amzn-0 | adot-java-agent, emr-amazon-cloudwatch-agent |