Agente do Amazon CloudWatch - Amazon EMR

Agente do Amazon CloudWatch

O agente do Amazon CloudWatch no Amazon EMR é uma ferramenta capaz de monitorar as instâncias do Amazon EC2 no cluster do EMR. É possível armazenar e visualizar as métricas que você coletar com o agente do CloudWatch no CloudWatch. Para obter mais informações sobre o agente do CloudWatch, consulte o Guia do usuário do Amazon CloudWatch.

nota

Você receberá cobranças adicionais se usar outros Serviços da AWS para publicar, consultar ou exibir as métricas do agente do Amazon CloudWatch. Consulte as páginas a seguir para obter mais informações sobre preços.

Essas métricas são separadas das métricas gratuitas que o Amazon EMR fornece sob o namespace AWS/ElasticMapReduce no CloudWatch. Para obter mais informações sobre as métricas que não são publicadas pelo agente do CloudWatch, consulte Monitoring Amazon EMR metrics with CloudWatch.

Com o Amazon EMR 7.0 e superior, você pode instalar uma versão personalizada do agente do Amazon CloudWatch no cluster para coletar métricas do cluster do EMR. O CloudWatchAgent é compatível com Clusters de perfil de runtime para o EMR 7.6 e versões posteriores. O agente coleta as métricas de todos os nós do cluster, reúne-as no nó primário e publica as métricas desse nó na nuvem.

Você pode instalar o agente ao criar um cluster no console ou ao usar a API create-cluster. Para obter mais informações, consulte Criação de um cluster do EMR que use o agente do Amazon CloudWatch. Por padrão, um cluster do Amazon EMR que executa a série da versão 7.x publica 34 métricas em nível de sistema no CloudWatch em intervalos de 60 segundos, mas você pode configurar o agente para publicar métricas diferentes. Outra opção é publicar métricas no Amazon Managed Service para Prometheus, e você também pode escolher quais métricas publicar. Em diferentes casos de uso e configurações, você pode configurar o agente para exibir e consultar as métricas no console do CloudWatch, no Amazon Managed Grafana ou por meio das APIs do CloudWatch ou do Amazon Managed Service para Prometheus. Esses Serviços da AWS geram cobranças quando você os usa para armazenar e consultar métricas.

O agente do CloudWatch no Amazon EMR pode publicar métricas do sistema, bem como métricas do JMX para os serviços a seguir no cluster do Amazon EMR.

  • DataNode do Hadoop

  • Hadoop NameNode

  • NodeManager do YARN

  • ResourceManager do YARN

  • HBase Master: somente Amazon EMR 7.1+

  • HBase RegionServer: somente Amazon EMR 7.1+

  • HBase ThriftServer: somente Amazon EMR 7.1+

Para obter mais informações sobre métricas disponíveis e como configurar o agente do CloudWatch no Amazon EMR, consulte Configuring CloudWatch agent for Amazon EMR.

A tabela a seguir lista a versão do AmazonCloudWatchAgent incluída na versão mais recente da série 7.x do Amazon EMR, além dos componentes que o Amazon EMR instala com o AmazonCloudWatchAgent.

Para obter a versão dos componentes instalados com o AmazonCloudWatchAgent nesse lançamento, consulte Release 7.10.0 Component Versions.

Informações sobre a versão do AmazonCloudWatchAgent para o emr-7.10.0
Rótulo de versão do Amazon EMR Versão do AmazonCloudWatchAgent Componentes instalados com o AmazonCloudWatchAgent

emr-7.10.0

AmazonCloudWatchAgent 1.300032.2-amzn-0

adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server