Configuração do CloudWatch agente para o Amazon EMR 7.0.0

1. Crie ou escolha um bucket na sua conta do Amazon S3 onde deseja armazenar os arquivos de configuração que especificam as métricas do CloudWatch agente.

2. Crie o arquivo de configuração emr-amazon-cloudwatch-agent.json com suas métricas preferenciais especificadas. Para isso, use um dos métodos explicados em Criação do arquivo de configuração do CloudWatch agente. Para obter mais informações sobre a estrutura do CloudWatch agente, consulte Criação ou edição manual do arquivo de configuração do CloudWatch agente no Guia CloudWatch do usuário da Amazon.

3. Em seguida, navegue até o aws-emr-utilities repositório em GitHub e baixe os scripts de métricas do sistema a seguir.

   • install_system_metrics_launcher.sh: um script que baixa e executa install_system_metrics.sh em segundo plano para que o nó possa concluir o bootstrapping.

   • install_system_metrics.sh: um script que aguarda a instância em que é executado para concluir o bootstrapping e, em seguida, baixa e aplica a configuração no arquivo JSON.

4. Abra cada arquivo SH e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 1.

5. Carregue um arquivo JSON e dois arquivos SH no seu bucket do S3.

6. Agora, você pode navegar até o console do Amazon EMR e criar um cluster com o CloudWatch agente. Em EMR, EC2 no painel de navegação à esquerda, selecione Clusters e, em seguida, Create cluster.

7. Na seção Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.

8. Em Pacote de aplicações, selecione o pacote ou as aplicações que deseja instalar no cluster e inclua Agente do Amazon CloudWatch Agent nas seleções.

9. Na seção Ações de bootstrap, selecione Adicionar.

   • Em Nome, insira install_system_metrics_launcher.sh.

   • Na Localização do script, insira s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Substitua amzn-s3-demo-bucket pelo caminho para o bucket do S3.

   • Deixe o bloco Argumentos vazio.

10. Selecione Adicionar ação de bootstrap.

11. Continue criando o cluster para atender às necessidades da sua workload.

1. Crie ou escolha um bucket na sua conta do Amazon S3 onde deseja armazenar os arquivos de configuração que especificam as métricas do CloudWatch agente.

2. Em seguida, navegue até o aws-emr-utilities repositório em GitHub e baixe os scripts a seguir.

   • install_app_metrics_launcher.sh: um script que baixa e executa install_app_metrics.sh em segundo plano para que o nó possa concluir o bootstrapping.

   • install_app_metrics.sh: um script que aguarda a instância em que é executado para concluir o bootstrapping e, em seguida, baixa e aplica a configuração nos arquivos YAML que você baixará em uma próxima etapa.

3. Abra cada arquivo e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 1.

4. Em seguida, baixe os arquivos de mapeamento YAML a seguir. Para obter informações sobre como esses arquivos YAML são estruturados, consulte javaagentno OpenTelemetry Instrumentation for Java GitHub repositório.

   • datanode-metrics.yaml: a configuração das métricas de Hadoop DataNode.

   • namenode-metrics.yaml: a configuração das métricas de Hadoop NameNode.

   • nodemanager-metrics.yaml: a configuração das métricas de Yarn NodeManager.

   • resourcemanager-metrics.yaml: a configuração das métricas de Yarn ResourceManager.

5. Carregue os dois arquivos SH e os quatro arquivos YAML no bucket do S3.

6. Agora, você pode navegar até o console do Amazon EMR e criar um cluster com o CloudWatch agente. Em EMR, EC2 no painel de navegação à esquerda, selecione Clusters e, em seguida, Create cluster.

7. Na seção Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.

8. Em Pacote de aplicações, selecione o pacote ou o grupo personalizado de aplicações que deseja instalar no cluster e inclua CloudWatch Agente nas seleções.

9. Na seção Ações de bootstrap, selecione Adicionar.

   • Em Nome, insira install_app_metrics_launcher.sh.

   • Na Localização do script, insira s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Substitua amzn-s3-demo-bucket pelo caminho para o bucket do S3.

   • Deixe o bloco Argumentos vazio.

10. Selecione Adicionar ação de bootstrap.

11. Continue criando o cluster para atender às necessidades da sua workload.

Use o CloudWatch agente em um cluster do EMR para publicar métricas no Amazon Managed Service for Prometheus

Depois que a política de serviço tiver as permissões corretas, use as etapas a seguir para executar um cluster que usa o CloudWatch agente para publicar métricas no Amazon Managed Service for Prometheus.

1. Use o AWS Management Console ou a AWS CLI para criar um espaço de trabalho do Amazon Managed Service for Prometheus. Para obter mais informações, consulte Criação de um espaço de trabalho no Guia do usuário do Amazon Managed Service for Prometheus.

2. Crie ou escolha um bucket na sua conta do Amazon S3 onde deseja armazenar os arquivos de execução que especificam o Amazon Managed Service for Prometheus como armazenamento em nuvem.

3. Em seguida, navegue até o aws-emr-utilities repositório em GitHub e baixe os scripts a seguir.

   • add_prometheus_endpoint_launcher.sh: um script que baixa e executa add_prometheus_endpoint.sh em segundo plano para que o nó possa concluir o bootstrapping.

   • add_prometheus_endpoint.sh— Um script que aguarda a instância em que é executado para concluir o bootstrapping e, em seguida, configura o CloudWatch agente para publicar no endpoint do Amazon Managed Service for Prometheus, que você fornece como argumento ao executar seu cluster.

4. Abra cada arquivo e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 2.

5. Use a AWS CLI para criar um cluster do EMR com a ação de add_prometheus_endpoint_launcher.sh bootstrap. No comando a seguir, substitua amzn-s3-demo-bucket pelo bucket que contém a ação de bootstrap e substitua managedpro-remote-write-workspace-url pelo endpoint de gravação remota do seu espaço de trabalho do Amazon Managed Service for Prometheus. Certifique-se de especificar um rótulo de versão emr-7.0.0 ou superior do Amazon EMR.

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Como usar o Amazon Managed Service for Prometheus como fonte de dados do Amazon Managed Grafana

Depois que o Amazon EMR publicar as métricas do cluster no Amazon Managed Service for Prometheus, você poderá usar as seguintes etapas para visualizar as métricas com o Amazon Managed Grafana:

1. Use a AWS Management Console para criar um espaço de trabalho e um usuário do Amazon Managed Grafana com as permissões apropriadas. Para obter mais informações, consulte Criação de um espaço de trabalho no Guia do usuário do Amazon Managed Grafana.

2. Adicione seu espaço de trabalho do Amazon Managed Service for Prometheus como fonte de dados no Amazon Managed Grafana. Para obter mais informações, consulte Use AWS data source configuration to add Amazon Managed Service for Prometheus as a data source no Guia do usuário do Amazon Managed Grafana.