Las métricas de monitoreo publican actualizaciones Monitorización a nivel de aplicación Monitorización a nivel de trabajo Monitorización a nivel de trabajador laboral

Monitorización de trabajos y aplicaciones de EMR sin servidor

Con CloudWatch las métricas de Amazon para EMR Serverless, puede recibir métricas de 1 minuto y acceder a los CloudWatch paneles de control para acceder a CloudWatch las near-real-time operaciones y el rendimiento de sus aplicaciones EMR Serverless.

EMR Serverless envía métricas a CloudWatch cada minuto. EMR Serverless emite estas métricas a nivel de aplicación, así como a nivel de puesto, tipo de trabajador y niveles. capacity-allocation-type

Para empezar, utilice la plantilla de CloudWatch panel EMR Serverless que se proporciona en el repositorio EMR GitHub Serverless e impleméntela.

nota

Las cargas de trabajo interactivas EMR sin servidor solo tienen habilitada la monitorización a nivel de aplicación y tienen una nueva dimensión de tipo de trabajador Spark_Kernel. Para supervisar y depurar sus cargas de trabajo interactivas, acceda a los registros y a la interfaz de usuario de Apache Spark desde su espacio de trabajo de EMR Studio.

Supervisión de métricas

importante

Estamos reestructurando nuestra pantalla de métricas para añadir ApplicationName y JobName como dimensiones. Para la versión 7.10 y versiones posteriores, las métricas anteriores ya no se actualizarán. Para las versiones de EMR anteriores a la 7.10, las métricas anteriores siguen disponibles.

Dimensiones actuales

La siguiente tabla describe las dimensiones de EMR sin servidor disponibles en el espacio de nombres AWS/EMR Serverless.

Dimensiones de las métricas de EMR sin servidor
Dimensión	Description (Descripción)
`ApplicationId`	Filtra todas las métricas de una aplicación EMR Serverless mediante el ID de la aplicación.
`ApplicationName`	Filtra todas las métricas de una aplicación EMR Serverless mediante el nombre. Si no se proporciona el nombre o contiene caracteres que no son ASCII, se publica como [Sin especificar].
`JobId`	Filtra todas las métricas de un EMR sin servidor el ID de ejecución del trabajo.
`JobName`	Filtra todas las métricas de un trabajo EMR Serverless que se ejecuta con el nombre. Si no se proporciona el nombre o contiene caracteres que no son ASCII, se publica como [Sin especificar].
`WorkerType`	Filtra todas las métricas de un tipo de trabajador determinado. Por ejemplo, puede filtrar por `SPARK_DRIVER` y `SPARK_EXECUTORS` para los trabajos de Spark.
`CapacityAllocationType`	Filtra todas las métricas de un tipo de asignación de capacidad determinado. Por ejemplo, puede filtrar para `PreInitCapacity` por la capacidad preinicializada y `OnDemandCapacity` por todo lo demás.

Monitorización a nivel de aplicación

Puede supervisar el uso de la capacidad a nivel de la aplicación EMR Serverless con las métricas de Amazon. CloudWatch También puede configurar una sola pantalla para monitorear el uso de la capacidad de las aplicaciones en un CloudWatch panel de control.

Métricas de aplicaciones de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`MaxCPUAllowed`	El máximo de CPU permitida para la aplicación.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	El máximo de memoria permitida en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	El máximo de almacenamiento permitido en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	El número total de v CPUs asignado.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	El número total de trabajadores inactivos.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	La memoria total en GB asignada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	El número total de trabajadores pendientes de creación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	El número total de trabajadores que utiliza la aplicación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	El almacenamiento total en disco en GB asignado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	El número total de trabajadores disponibles.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitorización a nivel de trabajo

Amazon EMR sin servidor envía las siguientes métricas a nivel de trabajo a Amazon CloudWatch cada minuto. Puede acceder a los valores métricos de las ejecuciones de tareas agregadas por estado de ejecución de las tareas. La unidad de cada una de las métricas es el recuento.

Métricas a nivel de trabajo de EMR sin servidor
Métrica	Description (Descripción)	Dimensión
`SubmittedJobs`	El número de trabajos en un estado de Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	El número de trabajos en un estado de Pendiente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	El número de trabajos en un estado de Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	El número de trabajos en un estado de En ejecución.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	El número de trabajos en un estado de Correcto.	`ApplicationId`, `ApplicationName`
`FailedJobs`	El número de trabajos en un estado de Error.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`

Puede monitorear las métricas específicas del motor para los trabajos EMR Serverless en ejecución y completados con una aplicación específica del motor. UIs Al acceder a la interfaz de usuario de un trabajo en ejecución, se muestra la interfaz de usuario de la aplicación en tiempo real con actualizaciones en tiempo real. Cuando accedes a la interfaz de usuario de un trabajo completado, se muestra la interfaz de usuario persistente de la aplicación.

Trabajos en ejecución

Para sus trabajos EMR Serverless en ejecución, acceda a una interfaz en tiempo real que proporciona métricas específicas del motor. Puede utilizar la IU de Apache Spark o la IU de Hive Tez para monitorizar y depurar sus trabajos. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Trabajos completados

Para tus trabajos EMR Serverless completados, usa el servidor de historial de Spark o la interfaz de usuario persistente de Hive Tez para acceder a los detalles, etapas, tareas y métricas de los trabajos ejecutados en Spark o Hive. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Monitorización a nivel de trabajador laboral

Amazon EMR Serverless envía a Amazon las siguientes métricas a nivel de trabajador laboral que están disponibles en el espacio de AWS/EMRServerless nombres y el grupo de métricasJob Worker Metrics. CloudWatch EMR Serverless recopila puntos de datos de trabajadores individuales durante la ejecución de los trabajos a nivel de trabajo, tipo de trabajador y nivel. capacity-allocation-type Se puede utilizar ApplicationId como una dimensión para monitorizar varios trabajos que pertenecen a la misma aplicación.

Métricas a nivel de trabajador laboral de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`WorkerCpuAllocated`	El número total de núcleos de vCPU asignados a los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerCpuUsed`	El número total de núcleos de vCPU utilizados por los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryAllocated`	La memoria total en GB asignada a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryUsed`	La memoria total en GB utilizada por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	El número de bytes de almacenamiento efímero asignados a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	El número de bytes de almacenamiento efímero utilizados por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageReadBytes`	El número de bytes leídos del almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageWriteBytes`	El número de bytes escritos en almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`

Los pasos siguientes describen cómo acceder a los distintos tipos de métricas.

Console

Para acceder a la IU de la aplicación con la consola

Navegue hasta la aplicación EMR sin servidor en EMR Studio siguiendo las instrucciones de Introducción a la consola.
Para acceder a la aplicación UIs y los registros específicos del motor para un trabajo en ejecución:
1. Elija un trabajo con un estado RUNNING.
2. Seleccione el trabajo en la página de Detalles de la aplicación o vaya a la página de Detalles del trabajo correspondiente a su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o la IU de Spark o la IU de Hive Tez para ir a la aplicación de IU correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, dirígete a la pestaña Ejecutores de la interfaz de usuario de Spark y selecciona el enlace Registros correspondiente al conductor. Para acceder a los registros del motor de Hive, selecciona el enlace de registros del DAG correspondiente en la interfaz de usuario de Hive Tez.
Para acceder a la aplicación específica del motor UIs y a los registros de un trabajo completado:
1. Elija un trabajo con un estado SUCCESS.
2. Seleccione el trabajo en la página Detalles de la aplicación de la aplicación o vaya a la página de Detalles del trabajo de su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o el Servidor del historial de Spark o la IU persistente de Hive Tez para ir a la IU de la aplicación correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, dirígete a la pestaña Ejecutores de la interfaz de usuario de Spark y selecciona el enlace Registros correspondiente al conductor. Para acceder a los registros del motor de Hive, selecciona el enlace de registros del DAG correspondiente en la interfaz de usuario de Hive Tez.

AWS CLI

Para acceder a la interfaz de usuario de la aplicación con el AWS CLI

Para generar una URL que se utilice para acceder a la interfaz de usuario de la aplicación para los trabajos en ejecución y finalizados, llame a la GetDashboardForJobRun API.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
La URL que genere es válida durante una hora.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Monitorización

Métricas del motor Spark