As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Publique registros do Amazon EMR em Logs CloudWatch

Visão geral do

O Amazon EMR on EC2 fornece integração nativa com o Amazon CloudWatch Logs, permitindo que você envie logs de cluster diretamente para CloudWatch esse recurso simplifica o gerenciamento de logs e fornece acesso centralizado aos seus logs de cluster do EMR para monitoramento, solução de problemas e análise.

Com o CloudWatch registro ativado, você pode capturar e transmitir automaticamente os registros de seus clusters do EMR para grupos de CloudWatch registros. Isso inclui registros de execução de etapas, registros de drivers do Spark e registros do executor do Spark, oferecendo visibilidade abrangente das operações do cluster e do comportamento do aplicativo.

O recurso de CloudWatch registro está disponível a partir da versão 7.11.0 do Amazon EMR e é configurado por meio do MonitoringConfiguration parâmetro ao criar seu cluster. Depois de ativados, os registros são transmitidos automaticamente à CloudWatch medida que são gerados, fornecendo acesso quase em tempo real aos dados de registro por meio do CloudWatch console ou da API.

Pré-requisitos

Antes de ativar o CloudWatch registro em seu cluster EMR, certifique-se de que os seguintes pré-requisitos sejam atendidos:

Permissões

O CloudWatch agente exige permissões específicas AWS Identity and Access Management(IAM) para criar grupos de registros, criar fluxos de registros e gravar eventos de registro em CloudWatch registros. Essas permissões devem ser anexadas ao perfil de EC2 instância da Amazon usado pelo seu cluster do EMR.

Política do IAM necessária

Adicione a seguinte política ao seu perfil de EC2 instância do Amazon EMR para conceder as permissões necessárias:

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Anexando a política

Para anexar essa política ao seu perfil de EC2 instância para EMR:

Para obter mais informações sobre as funções do IAM para o Amazon EMR, consulte Configurar funções do IAM para permissões do Amazon EMR para AWS serviços e recursos no Guia de gerenciamento do Amazon EMR.

Configurando o registro CloudWatch

Você pode ativar o CloudWatch registro ao criar um novo cluster do EMR por meio do AWS Management Console ou. AWS CLI AWS SDKs A configuração é especificada por meio do MonitoringConfiguration parâmetro.

Usando o console AWS de gerenciamento

Para criar um cluster com CloudWatch registro a partir do console:

Depois que o cluster for criado, você poderá acessar o link CloudWatch Logs na página Detalhes do cluster do EMR em Gerenciamento de cluster → Destino do log na Amazon. CloudWatch

Usando o AWS CLI

Você pode ativar o CloudWatch registro usando o create-cluster comando AWS CLI with the. O CloudWatch agente deve ser incluído no --applications parâmetro e o registro é configurado por meio do --monitoring-configuration parâmetro.

Exemplo: Configuração padrão

O EMR capturará automaticamente os registros das etapas e somente os registros do driver do Spark e os enviará para o grupo de registros padrão.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Ao usar a configuração padrão:

Exemplo: configuração personalizada

Este exemplo demonstra uma configuração personalizada com nomes de grupos de logs específicos, criptografia KMS e tipos de log seletivos.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Esta configuração:

Para obter mais informações sobre como usar o AWS CLI com o Amazon EMR, consulte a Referência de AWS CLI comandos para EMR.

Referência da configuração

CloudWatchLogConfiguration Parâmetros

O CloudWatchLogConfigurationv objeto suporta os seguintes parâmetros:

Tipos de log

O Amazon EMR oferece suporte a três tipos de log, cada um capturando tanto a saída padrão quanto os fluxos de erro padrão:

Configuração padrão dos tipos de log

Quando você não especifica o LogTypes parâmetro, o EMR usa a seguinte configuração padrão:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Configuração de tipos de log personalizados

Você pode personalizar quais tipos de log capturar especificando explicitamente o LogTypes parâmetro. Por exemplo, para capturar somente registros de etapas:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

Ou para capturar somente o erro padrão dos drivers do Spark:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Grupo de registros e nomenclatura de streams

CloudWatch organiza os registros em grupos e fluxos de registros:

Criptografando registros com AWS KMS

Você pode criptografar seus CloudWatch registros em repouso usando AWS Key Management Service (KMS). Para ativar a criptografia:

Para obter informações detalhadas sobre como criptografar dados de CloudWatch registros, consulte Criptografar dados de registro em CloudWatch Registros usando. AWS Key Management Service

Exemplo com criptografia KMS

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Visualizando os logins CloudWatch

Depois que seu cluster estiver em execução com o CloudWatch registro ativado, você poderá visualizar e analisar seus registros por meio do CloudWatch console ou da API.

Acessando registros do console do EMR

A maneira mais rápida de acessar os registros do cluster é diretamente do console do EMR:

Esse link leva você diretamente ao console de CloudWatch registros filtrado para o grupo de registros do seu cluster.

Acessando registros a partir do CloudWatch console

Para navegar manualmente até seus logins CloudWatch:

Para obter mais informações sobre como trabalhar com o CloudWatch Logs, consulte o Guia do usuário do Amazon CloudWatch Logs.

Considerações

CloudWatch Comportamento do agente

O Amazon CloudWatch Agent fornece métricas e recursos de registro:

Habilitando somente o CloudWatch registro (desativando CloudWatch métricas)

Se você quiser ativar o CloudWatch registro, mas desativar o recurso de coleta de métricas, você pode configurar o CloudWatch Agente para parar de exportar métricas. Adicione a seguinte classificação à configuração do seu cluster:

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Para obter mais informações sobre CloudWatch métricas, consulte Monitorar métricas com a Amazon CloudWatch.

Limitações conhecidas

Requisitos de sub-rede privada

Para publicar registros no CloudWatch Logs de um cluster do EMR em uma sub-rede privada, crie e associe o endpoint da VPC do Logs à CloudWatch VPC do seu cluster.

Para obter mais informações sobre endpoints do CloudWatch Logs, consulte CloudWatch os endpoints e cotas do Amazon Logs no Guia de referência AWS geral.

Considerações sobre custos

CloudWatch As cobranças de registros são baseadas em:

Para otimizar os custos:

Para obter informações atuais sobre preços, consulte Amazon CloudWatch Pricing.

Recursos adicionais