Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Publicar registros de Amazon EMR en Logs CloudWatch

Descripción general de

Amazon EMR on EC2 proporciona una integración nativa con Amazon CloudWatch Logs, lo que le permite enviar los registros del clúster directamente a. CloudWatch Esta función simplifica la administración de registros y proporciona un acceso centralizado a los registros del clúster de EMR para la supervisión, la solución de problemas y el análisis.

Con el CloudWatch registro activado, puede capturar y transmitir automáticamente los registros de sus clústeres de EMR a los grupos de CloudWatch registros. Esto incluye los registros de ejecución escalonada, los registros de los controladores de Spark y los registros de los ejecutores de Spark, lo que le proporciona una visibilidad completa de las operaciones del clúster y del comportamiento de las aplicaciones.

La función de CloudWatch registro está disponible a partir de la versión 7.11.0 de Amazon EMR y se configura mediante el MonitoringConfiguration parámetro al crear el clúster. Una vez habilitados, los registros se transmiten automáticamente a CloudWatch medida que se generan, lo que proporciona acceso casi en tiempo real a los datos de registro a través de la consola o la CloudWatch API.

Requisitos previos

Antes de habilitar el CloudWatch registro para su clúster de EMR, asegúrese de que se cumplan los siguientes requisitos previos:

Permisos

El CloudWatch agente requiere permisos específicos AWS Identity and Access Management(IAM) para crear grupos de registros, crear flujos de registros y escribir eventos de registro en los registros. CloudWatch Estos permisos deben adjuntarse al perfil de EC2 instancia de Amazon que utiliza su clúster de EMR.

Política de IAM obligatoria

Añada la siguiente política a su perfil de EC2 instancia para que Amazon EMR conceda los permisos necesarios:

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Adjuntar la política

Para adjuntar esta política a su perfil de EC2 instancia para EMR:

Para obtener más información sobre las funciones de IAM para Amazon EMR, consulte Configurar las funciones de IAM para los permisos de Amazon EMR AWS a los servicios y recursos en la Guía de administración de Amazon EMR.

Configuración del registro CloudWatch

Puede habilitar el CloudWatch registro al crear un nuevo clúster de EMR a través de la consola AWS de administración AWS CLI, o. AWS SDKs La configuración se especifica mediante el MonitoringConfiguration parámetro.

Uso de la consola AWS de administración

Para crear un clúster con el CloudWatch registro desde la consola:

Una vez creado el clúster, puede acceder al enlace CloudWatch Registros desde la página de detalles del clúster de EMR, en Administración de clústeres → Destino del registro en Amazon. CloudWatch

Usando el AWS CLI

Puede habilitar el CloudWatch registro mediante el AWS CLI create-cluster comando with. El CloudWatch agente debe estar incluido en el --applications parámetro y el registro se configura a través del --monitoring-configuration parámetro.

Ejemplo: configuración predeterminada

EMR capturará automáticamente los registros de pasos y solo los registros del controlador de Spark y los enviará al grupo de registros predeterminado.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Cuando utilices la configuración predeterminada:

Ejemplo: configuración personalizada

En este ejemplo, se muestra una configuración personalizada con nombres de grupos de registros específicos, cifrado KMS y tipos de registro selectivos.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Esta configuración:

Para obtener más información sobre el uso AWS CLI de Amazon EMR, consulte la Referencia de AWS CLI comandos para EMR.

Referencia de la configuración

CloudWatchLogConfiguration Parámetros

El CloudWatchLogConfigurationv objeto admite los siguientes parámetros:

Tipos de registro

Amazon EMR admite tres tipos de registro, cada uno de los cuales captura tanto la salida estándar como los flujos de error estándar:

Configuración de tipos de registro predeterminados

Si no se especifica el LogTypes parámetro, EMR utiliza la siguiente configuración predeterminada:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Configuración de tipos de registro personalizados

Puede personalizar los tipos de registro que desea capturar especificando el LogTypes parámetro de forma explícita. Por ejemplo, para capturar solo los registros de pasos:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

O para capturar solo los errores estándar de los controladores de Spark:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Denominación de grupos y flujos de registros

CloudWatch organiza los registros en grupos de registros y flujos de registros:

Cifrar registros con AWS KMS

Puede cifrar los CloudWatch registros en reposo mediante AWS Key Management Service (KMS). Para habilitar el cifrado:

Para obtener información detallada sobre cómo cifrar CloudWatch los datos de los registros, consulte Cifrar los datos de registro en los CloudWatch registros mediante. AWS Key Management Service

Ejemplo de cifrado KMS

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Visualización de los registros CloudWatch

Una vez que el clúster se ejecute con el CloudWatch registro activado, podrá ver y analizar los registros a través de la CloudWatch consola o la API.

Acceso a los registros desde la consola EMR

La forma más rápida de acceder a los registros del clúster es directamente desde la consola EMR:

Este enlace lo lleva directamente a la consola de CloudWatch registros filtrada por el grupo de registros de su clúster.

Acceder a los registros desde la CloudWatch consola

Para navegar manualmente hasta tus inicios de sesión CloudWatch:

Para obtener más información sobre cómo trabajar con CloudWatch registros, consulte la Guía del usuario de Amazon CloudWatch Logs.

Consideraciones

CloudWatch Comportamiento del agente

El Amazon CloudWatch Agent proporciona métricas y capacidades de registro:

Habilitar solo el CloudWatch registro (deshabilitar CloudWatch las métricas)

Si desea habilitar el CloudWatch registro pero deshabilitar la función de recopilación de métricas, puede configurar el CloudWatch agente para que deje de exportar las métricas. Añada la siguiente clasificación a la configuración del clúster:

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Para obtener más información sobre CloudWatch las métricas, consulta Supervisar las métricas con Amazon CloudWatch.

Limitaciones conocidas

Requisitos de subred privada

Para publicar registros en Logs para un clúster de EMR en una subred privada, cree y asocie el punto de enlace de la VPC de Logs a la CloudWatch VPC de su clúster. CloudWatch

Para obtener más información sobre CloudWatch los puntos de enlace de Logs, consulte los puntos de enlace y las cuotas de Amazon CloudWatch Logs en la Guía de referencia AWS general.

Consideraciones sobre costos

CloudWatch Los cargos por registros se basan en:

Cómo optimizar los costos:

Para obtener información sobre los precios actuales, consulta Amazon CloudWatch Pricing.

Recursos adicionales