Criação de um cluster do EMR que use o agente do Amazon CloudWatch

Os procedimentos nesta seção descrevem as etapas para criar um cluster no Amazon EMR com o agente do Amazon CloudWatch do Console de gerenciamento da AWS e da AWS CLI.

Permissões necessárias do IAM para o agente do CloudWatch

O agente do CloudWatch exige a permissão do AWS Identity and Access Management (IAM) cloudwatch:PutMetricData no perfil de instância do Amazon EC2 para o Amazon EMR. O perfil padrão do Amazon EMR já tem essa permissão. Você pode criar o perfil padrão da AWS CLI com aws emr create-default-roles. Para obter mais informações, consulte Perfil de serviço para instâncias do EC2 de cluster (perfil de instância do EC2) no Guia de gerenciamento do Amazon EMR.

O seguinte exemplo de política do IAM inclui a permissão cloudwatch:PutMetricData:

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": [
        "*"
      ],
      "Sid": "AllowCLOUDWATCHPutmetricdata"
    }
  ]
}

Endpoint obrigatório do agente do CloudWatch

Para publicar métricas no CloudWatch para um cluster do EMR em uma sub-rede privada, crie um endpoint do agente do CloudWatch e associe-o à VPC na qual a sub-rede privada está.

Para obter mais informações sobre os endpoints do CloudWatch para cada Região da AWS, consulte Amazon CloudWatch endpoints and quotas na Referência geral da AWS.

Criação de um cluster do EMR

Depois de configurar as permissões e o endpoint necessários para usar com o agente do CloudWatch, use o Console de gerenciamento da AWS ou a AWS CLI para criar um cluster com o agente instalado.

Console

Para criar um cluster com o agente do Amazon CloudWatch no console

1. Navegue até o console do Amazon EMR.

2. Selecione Criar cluster.

3. Em Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.

4. Em Pacote de aplicações, selecione o pacote ou as aplicações que deseja instalar no cluster e inclua Agente do CloudWatch nas seleções.

5. Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.

AWS CLI

Na AWS CLI, você pode adicionar o agente do Amazon CloudWatch a um cluster com o parâmetro --applications para create-cluster.

Para criar um cluster com o agente do Amazon CloudWatch na AWS CLI

• Ao criar um cluster, use um comando semelhante ao mostrado a seguir para incluir o agente do Amazon CloudWatch. Substitua myKey pelo nome do seu par de chaves do EC2.

  aws emr create-cluster --name "Spark cluster with CloudWatch agent" \
  --release-label emr-7.0.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
  --instance-count 3 --use-default-roles

Para obter mais detalhes sobre como usar o Amazon EMR com a AWS CLI, consulte a Referência de comandos da AWS CLI.