Depuración de los pasos de EMR mediante la aplicación YARN IDs - Amazon EMR
ID de aplicación YARN

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Depuración de los pasos de EMR mediante la aplicación YARN IDs

Una forma eficaz de depurar los pasos que inician aplicaciones basadas en YARN (como los pasos de Spark) consiste en aprovechar la información del ID de aplicación de Yarn disponible en la consola de Amazon EMR.

ID de aplicación YARN

Para los pasos que ejecutan Spark u otros trabajos basados en YARN, la consola EMR muestra el ID de aplicación de YARN ejecutado más recientemente en los detalles del paso. Si un paso lanza varias aplicaciones de YARN, solo se muestra el último ID de la aplicación ejecutada.

¿Por qué utilizar la aplicación Yarn IDs para la depuración?

  • Puede correlacionar directamente los pasos de EMR con las aplicaciones de Yarn: identifique exactamente qué aplicación de Yarn corresponde a un paso problemático o interesante.

  • Puedes acceder a las herramientas de monitoreo en vivo: usa el ID de la aplicación para abrir la interfaz de usuario de YARN ResourceManager Live o la interfaz de Spark History Server para inspeccionar las aplicaciones en ejecución o terminadas.

  • Puede recuperar los registros para solucionar problemas de forma detallada: use el ID de la aplicación para encontrar los registros de contenedores almacenados en S3 y asociados a esa aplicación, que le ayudarán a profundizar en los fallos o problemas de rendimiento.

Puede utilizar esta información de varias maneras:

  1. Vaya a la pestaña Pasos del clúster de EMR.

  2. Haga clic en el paso que desee depurar.

  3. Localice la sección ID de aplicación de Yarn en el panel de detalles del paso.

  4. Copie el ID de aplicación que aparece.

  5. Use el ID para lo siguiente:

    • Abre la interfaz de usuario de YARN ResourceManager Live. El URI tiene el siguiente aspecto: http: resourcemanager-host //:8088/cluster/app/ application_id

    • Abrir la interfaz de usuario de Spark History Server para revisar los detalles de ejecución de la aplicación.

    • Acceder a los registros de los contenedores de su bucket de S3 por medio de las rutas etiquetadas con el ID de la aplicación.

Al usar el ID de aplicación de Yarn, puede agilizar su proceso de depuración y conectar los errores de los pasos de EMR de alto nivel con las ejecuciones de aplicaciones de Yarn subyacentes.