Criação de um cluster do EMR que use o agente da Amazon CloudWatch - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criação de um cluster do EMR que use o agente da Amazon CloudWatch

Os procedimentos nesta seção descrevem as etapas para criar um cluster no Amazon EMR com o CloudWatch agente da Amazon do AWS Management Console e da. AWS CLI

Permissões necessárias do IAM para o CloudWatch agente

O CloudWatch agente exige a cloudwatch:PutMetricData permissão AWS Identity and Access Management (IAM) no perfil de EC2 instância da Amazon para o Amazon EMR. O perfil padrão do Amazon EMR já tem essa permissão. Você pode criar a função padrão a partir do AWS CLI withaws emr create-default-roles. Para obter mais informações, consulte Função de serviço para EC2 instâncias de cluster (perfil de EC2 instância) no Guia de gerenciamento do Amazon EMR.

O seguinte exemplo de política do IAM inclui a permissão cloudwatch:PutMetricData:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

Endpoint obrigatório do CloudWatch agente

Para publicar métricas CloudWatch para um cluster do EMR em uma sub-rede privada, crie um endpoint do CloudWatch agente e associe-o à VPC na qual a sub-rede privada está.

Para obter mais informações sobre os CloudWatch endpoints de cada um Região da AWS, consulte os CloudWatch endpoints e cotas da Amazon no Guia de referência AWS geral.

Criação de um cluster do EMR

Depois de configurar as permissões e o endpoint necessários para usar com o CloudWatch agente, use o AWS Management Console ou a AWS CLI para criar um cluster com o agente instalado.

Console
Para criar um cluster com o CloudWatch agente da Amazon no console
  1. Navegue até o console do Amazon EMR.

  2. Selecione Criar cluster.

  3. Em Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.

  4. Em Pacote de aplicações, selecione o pacote ou as aplicações que deseja instalar no cluster e inclua CloudWatch Agente nas seleções.

  5. Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.

AWS CLI

No AWS CLI, você pode adicionar o CloudWatch agente da Amazon a um cluster com o --applications parâmetro paracreate-cluster.

Para criar um cluster com o CloudWatch agente da Amazon a partir do AWS CLI
  • Ao criar um cluster, use um comando semelhante ao mostrado a seguir para incluir o CloudWatch agente da Amazon. myKeySubstitua pelo nome do par de EC2 chaves.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Para obter mais detalhes sobre como usar o Amazon EMR com a AWS CLI, consulte a Referência de AWS CLI comandos da.