Las métricas de monitoreo publican actualizaciones Monitorización a nivel de aplicación Monitorización a nivel de trabajo Monitorización a nivel de trabajador laboral

Monitorización de trabajos y aplicaciones de EMR sin servidor

Con CloudWatch las métricas de Amazon para EMR Serverless, puede recibir CloudWatch métricas de 1 minuto y acceder a los CloudWatch paneles para ver las near-real-time operaciones y el rendimiento de sus aplicaciones EMR Serverless.

EMR Serverless envía métricas a CloudWatch cada minuto. EMR Serverless emite estas métricas a nivel de aplicación, así como a nivel de puesto, tipo de trabajador y niveles. capacity-allocation-type

Para empezar, utilice la plantilla de CloudWatch panel EMR Serverless que se proporciona en el repositorio EMR GitHub Serverless e impleméntela.

nota

Las cargas de trabajo interactivas EMR sin servidor solo tienen habilitada la monitorización a nivel de aplicación y tienen una nueva dimensión de tipo de trabajador Spark_Kernel. Para monitorizar y depurar sus cargas de trabajo interactivas, puede ver los registros y la IU de Apache Spark desde su espacio de trabajo de EMR Studio.

Supervisión de métricas

importante

Estamos reestructurando nuestra pantalla de métricas para añadir ApplicationName y JobName como dimensiones. Las métricas anteriores y existentes siguen estando disponibles, pero recomendamos usar las nuevas.

Dimensiones actuales

La siguiente tabla describe las dimensiones de EMR sin servidor disponibles en el espacio de nombres AWS/EMR Serverless.

Dimensiones de las métricas de EMR sin servidor
Dimensión	Descripción
`ApplicationId`	Filtra todas las métricas de una aplicación EMR Serverless mediante el ID de la aplicación.
`ApplicationName`	Filtra todas las métricas de una aplicación EMR Serverless mediante el nombre. Si no se proporciona el nombre o contiene caracteres que no son ASCII, se publica como [Sin especificar].
`JobId`	Filtra todas las métricas de un EMR sin servidor el ID de ejecución del trabajo.
`JobName`	Filtra todas las métricas de un trabajo EMR Serverless que se ejecuta con el nombre. Si no se proporciona el nombre o contiene caracteres que no son ASCII, se publica como [Sin especificar].
`WorkerType`	Filtra todas las métricas de un tipo de trabajador determinado. Por ejemplo, puede filtrar por `SPARK_DRIVER` y `SPARK_EXECUTORS` para los trabajos de Spark.
`CapacityAllocationType`	Filtra todas las métricas de un tipo de asignación de capacidad determinado. Por ejemplo, puede filtrar para `PreInitCapacity` por la capacidad preinicializada y `OnDemandCapacity` por todo lo demás.

Monitorización a nivel de aplicación

Puede supervisar el uso de la capacidad a nivel de la aplicación EMR Serverless con las métricas de Amazon. CloudWatch También puede configurar una vista única para monitorear el uso de la capacidad de las aplicaciones en un CloudWatch panel de control.

Métricas de aplicaciones de EMR sin servidor
Métrica	Descripción	Unidad	Dimensión
`MaxCPUAllowed`	El máximo de CPU permitida para la aplicación.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	El máximo de memoria permitida en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	El máximo de almacenamiento permitido en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	El número total de v CPUs asignado.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	El número total de trabajadores inactivos.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	La memoria total en GB asignada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	El número total de trabajadores pendientes de creación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	El número total de trabajadores que utiliza la aplicación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	El almacenamiento total en disco en GB asignado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	El número total de trabajadores disponibles.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitorización a nivel de trabajo

Amazon EMR sin servidor envía las siguientes métricas a nivel de trabajo a Amazon CloudWatch cada minuto. Puede ver los valores de las métricas de las ejecuciones de trabajos agregados por estado de ejecución de trabajos. La unidad de cada una de las métricas es el recuento.

Métricas a nivel de trabajo de EMR sin servidor
Métrica	Descripción	Dimensión
`SubmittedJobs`	El número de trabajos en un estado de Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	El número de trabajos en un estado de Pendiente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	El número de trabajos en un estado de Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	El número de trabajos en un estado de En ejecución.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	El número de trabajos en un estado de Correcto.	`ApplicationId`, `ApplicationName`
`FailedJobs`	El número de trabajos en un estado de Error.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`

Puede monitorear las métricas específicas del motor para los trabajos EMR Serverless en ejecución y completados con una aplicación específica del motor. UIs Al ver la IU de un trabajo en ejecución, verá la IU de la aplicación en directo con actualizaciones en tiempo real. Cuando ve la IU de un trabajo completado, ve la IU persistente de la aplicación.

Trabajos en ejecución

Para sus trabajos de EMR sin servidor en ejecución, puede ver una interfaz en tiempo real que proporciona métricas específicas del motor. Puede utilizar la IU de Apache Spark o la IU de Hive Tez para monitorizar y depurar sus trabajos. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Trabajos completados

Para sus trabajos de EMR sin servidor completados, puede usar el servidor de historial de Spark o la IU persistente de Hive Tez para ver los detalles de los trabajos, las etapas, las tareas y las métricas de las ejecuciones de trabajos de Spark o Hive. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Monitorización a nivel de trabajador laboral

Amazon EMR Serverless envía a Amazon las siguientes métricas a nivel de trabajador laboral que están disponibles en el espacio de AWS/EMRServerless nombres y el grupo de métricasJob Worker Metrics. CloudWatch EMR Serverless recopila puntos de datos de trabajadores individuales durante la ejecución de los trabajos a nivel de trabajo, tipo de trabajador y nivel. capacity-allocation-type Se puede utilizar ApplicationId como una dimensión para monitorizar varios trabajos que pertenecen a la misma aplicación.

Métricas a nivel de trabajador laboral de EMR sin servidor
Métrica	Descripción	Unidad	Dimensión
`WorkerCpuAllocated`	El número total de núcleos de vCPU asignados a los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerCpuUsed`	El número total de núcleos de vCPU utilizados por los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryAllocated`	La memoria total en GB asignada a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryUsed`	La memoria total en GB utilizada por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	El número de bytes de almacenamiento efímero asignados a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	El número de bytes de almacenamiento efímero utilizados por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageReadBytes`	El número de bytes leídos del almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageWriteBytes`	El número de bytes escritos en almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`

En los siguientes pasos se describe la visualización de los distintos tipos de métricas.

Console

Para acceder a la IU de la aplicación con la consola

Navegue hasta la aplicación EMR sin servidor en EMR Studio siguiendo las instrucciones de Introducción a la consola.
Para ver la aplicación y los registros específicos del motor de un trabajo en UIs ejecución:
1. Elija un trabajo con un estado RUNNING.
2. Seleccione el trabajo en la página de Detalles de la aplicación o vaya a la página de Detalles del trabajo correspondiente a su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o la IU de Spark o la IU de Hive Tez para ir a la aplicación de IU correspondiente a su tipo de trabajo.
4. Para ver los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para ver los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.
Para ver la aplicación UIs y los registros específicos del motor de un trabajo completado:
1. Elija un trabajo con un estado SUCCESS.
2. Seleccione el trabajo en la página Detalles de la aplicación de la aplicación o vaya a la página de Detalles del trabajo de su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o el Servidor del historial de Spark o la IU persistente de Hive Tez para ir a la IU de la aplicación correspondiente a su tipo de trabajo.
4. Para ver los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para ver los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.

AWS CLI

Para acceder a la interfaz de usuario de la aplicación con el AWS CLI

Para generar una URL que pueda usar para acceder a la IU de su aplicación, tanto para los trabajos en ejecución como para los completados, llame a la API GetDashboardForJobRun.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
La URL que genere es válida durante una hora.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Monitorización

Métricas del motor Spark