Almacenamiento de registros

Para monitorizar el progreso de su trabajo en EMR sin servidor y solucionar errores en los trabajos, elija la forma en que EMR sin servidor almacena y proporciona los registros de las aplicaciones. Cuando envíe una ejecución de trabajo, especifique el almacenamiento administrado, Amazon S3 y Amazon CloudWatch como opciones de registro.

Con CloudWatch, especifique los tipos de registro y las ubicaciones de registro que quiere usar o aceptar los tipos y ubicaciones predeterminados. Para obtener más información sobre los registros de CloudWatch, consulte Registro de EMR sin servidor con Amazon CloudWatch. Con el almacenamiento gestionado y el registro de S3, en la siguiente tabla se muestran las ubicaciones de registro y la disponibilidad de la IU que puede esperar si elige almacenamiento administrado, buckets de Amazon S3 o ambos.

¹ Le sugerimos que mantenga seleccionada la opción de almacenamiento administrado. De lo contrario, no podrá utilizar las IU de la aplicación integradas.

Registro para EMR sin servidor con almacenamiento administrado

De forma predeterminada, EMR sin servidor almacena los registros de las aplicaciones de forma segura en el almacenamiento administrado de Amazon EMR durante un máximo de 30 días.

Para desactivar esta opción desde EMR Studio, desactive la casilla Permitir AWS para retener los registros durante 30 días en la sección Configuración adicional de la página Enviar trabajo.

Para desactivar esta opción desde la AWS CLI, utilice la configuración de managedPersistenceMonitoringConfiguration cuando envíe una ejecución de trabajo.

{
    "monitoringConfiguration": {
        "managedPersistenceMonitoringConfiguration": {
            "enabled": false
        }
    }
}

Si su aplicación de EMR sin servidor se encuentra en una subred privada con puntos de conexión de VPC para Amazon S3 y adjunta una política de puntos de conexión para controlar el acceso, agregue los siguientes permisos para que EMR sin servidor almacene y proporcione los registros de la aplicación. Reemplace Resource por los buckets AppInfo de la tabla de regiones disponible en Sample policies for private subnets that access Amazon S3.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "EMRServerlessManagedLogging",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Resource": [
        "arn:aws:s3:::prod.us-east-1.appinfo.src",
        "arn:aws:s3:::prod.us-east-1.appinfo.src/*"
      ],
      "Condition": {
        "StringEquals": {
          "aws:PrincipalServiceName": "emr-serverless.amazonaws.com",
          "aws:SourceVpc": "vpc-12345678"
        }
      }
    }
  ]
}

Además, utilice la clave de condición aws:SourceVpc para asegurarse de que la solicitud pase por la VPC a la que está asociado el punto de conexión de VPC.

Registro de EMR sin servidor con buckets de Amazon S3

Para que sus trabajos puedan enviar datos de registro a Amazon S3, debe incluir los siguientes permisos en la política de permisos del rol de tiempo de ejecución del trabajo. Reemplace amzn-s3-demo-logging-bucket con el nombre de su bucket de registro.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/*"
      ],
      "Sid": "AllowS3Putobject"
    }
  ]
}

Para configurar un bucket de Amazon S3 para almacenar los registros de la AWS CLI, utilice la configuración de s3MonitoringConfiguration al iniciar la ejecución de un trabajo. Para ello, incluya el siguiente --configuration-overrides en la configuración.

{
    "monitoringConfiguration": {
        "s3MonitoringConfiguration": {
            "logUri": "s3://amzn-s3-demo-logging-bucket/logs/"
        }
    }
}

Para los trabajos por lotes que no tienen habilitados los reintentos, EMR sin servidor envía los registros a la siguiente ruta:

'/applications/<applicationId>/jobs/<jobId>'

EMR sin servidor almacena los registros del controlador Spark en la siguiente ruta

'/applications/<applicationId>/jobs/<jobId>/SPARK_DRIVER/'

EMR sin servidor almacena los registros del ejecutor Spark en la siguiente ruta

'/applications/<applicationId>/jobs/<jobId>/SPARK_EXECUTOR/<EXECUTOR-ID>'

<EXECUTOR-ID> es un número entero.

Las versiones 7.1.0 y posteriores de EMR sin servidor admiten reintentos para trabajos de streaming y trabajos por lotes. Si ejecuta un trabajo con los reintentos habilitados, EMR sin servidor agrega automáticamente un número de intento al prefijo de la ruta de registro, para poder hacer una mejor distinción y seguimiento de los registros.

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'

Registro de EMR sin servidor con Amazon CloudWatch

Cuando envíe un trabajo a una aplicación EMR sin servidor, elija Amazon CloudWatch como opción para almacenar los registros de la aplicación. Esto le permite utilizar las funciones de análisis de registros de CloudWatch, como CloudWatch Logs Insights y Live Tail. También puede transmitir registros desde CloudWatch a otros sistemas, como OpenSearch, para analizarlos más a fondo.

EMR sin servidor proporciona registro en tiempo real de los registros de los controladores. Puede acceder a los registros en tiempo real con la función de seguimiento en directo de CloudWatch o mediante los comandos de seguimiento de la CLI de CloudWatch.

De forma predeterminada, el registro de CloudWatch está deshabilitado para EMR sin servidor. Para habilitarlo, utilice la configuración de AWS CLI.

Permisos necesarios para realizar un registro con CloudWatch

Para que sus trabajos puedan enviar datos de registro a Amazon CloudWatch, se deben incluir los siguientes permisos en la política de permisos del rol de tiempo de ejecución del trabajo.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:DescribeLogGroups"
      ],
      "Resource": [
        "arn:aws:logs:*:123456789012:*"
      ],
      "Sid": "AllowLOGSDescribeloggroups"
    },
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:*:123456789012:log-group:my-log-group-name:*"
      ],
      "Sid": "AllowLOGSPutlogevents"
    }
  ]
}

AWS CLI

Para configurar Amazon CloudWatch para almacenar los registros de EMR sin servidor de la AWS CLI, utilice la configuración de cloudWatchLoggingConfiguration al iniciar la ejecución de un trabajo. Para ello, incluya las siguientes anulaciones de configuración. Opcionalmente, también puede proporcionar un nombre de grupo de registro, un nombre de prefijo de flujo de registro, tipos de registro y una clave de cifrado ARN.

Si no especifica los valores opcionales, CloudWatch publica los registros en un grupo de registros predeterminado /aws/emr-serverless, con el flujo de registros predeterminado /applications/applicationId/jobs/jobId/worker-type.

Las versiones 7.1.0 y posteriores de EMR sin servidor admiten reintentos para trabajos de streaming y trabajos por lotes. Si habilitó reintentos para un trabajo, EMR sin servidor agrega automáticamente un número de intento al prefijo de la ruta de registro, para poder hacer una mejor distinción y seguimiento de los registros.

'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/worker-type'

A continuación, se muestra la configuración mínima necesaria para activar el registro de Amazon CloudWatch con la configuración predeterminada de EMR sin servidor:

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true
         }
     }
}

El siguiente ejemplo muestra todas las configuraciones obligatorias y opcionales que puede especificar al activar el registro de Amazon CloudWatch para EMR sin servidor. Los valores logTypes admitidos también se muestran en el siguiente ejemplo.

{
    "monitoringConfiguration": {
        "cloudWatchLoggingConfiguration": {
            "enabled": true, // Required
            "logGroupName": "Example_logGroup", // Optional
            "logStreamNamePrefix": "Example_logStream", // Optional 
            "encryptionKeyArn": "key-arn", // Optional 
            "logTypes": { 
                "SPARK_DRIVER": ["stdout", "stderr"] //List of values
             }
         }
     }
}

De forma predeterminada, EMR sin servidor publica solo los registros stdout y stderr del controlador en CloudWatch. Si desea obtener otros registros, especifique el rol de contenedor y los tipos de registro correspondientes con el campo logTypes.