Acceder a los registros de Airflow en Amazon CloudWatch - Amazon Managed Workflows para Apache Airflow
PreciosAntes de empezarTipos de registroHabilitación de los registros de Apache AirflowAcceso a los registros de Apache AirflowEjemplos de registros del programadorSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Acceder a los registros de Airflow en Amazon CloudWatch

Amazon MWAA puede enviar registros de Apache Airflow a Amazon. CloudWatch Puede acceder a los registros de varios entornos desde una única ubicación para identificar fácilmente los retrasos en las tareas de Apache Airflow o los errores del flujo de trabajo sin necesidad de herramientas adicionales de terceros. Los registros de Apache Airflow deben estar habilitados en la consola Amazon Managed Workflows for Apache Airflow para acceder al procesamiento del DAG de Apache Airflow, a las tareas, al servidor web y a los inicios de sesión de los trabajadores. CloudWatch

Precios

  • Se aplican cargos por registros estándar CloudWatch . Para obtener más información, consulta los CloudWatch precios.

Antes de empezar

Tipos de registro

Amazon MWAA crea un grupo de registros para cada opción de registro de Airflow que active y envía los registros a los grupos de registros asociados a un entorno. CloudWatch Se asigna un nombre con el formato YourEnvironmentName-LogType a los grupos de registro. Por ejemplo, si su entorno se denomina “Airflow-v202-Public”, los registros de las tareas de Apache Airflow se enviarán a Airflow-v202-Public-Task.

Tipo de registro Descripción

YourEnvironmentName-DAGProcessing

Registros del administrador del procesador de DAG (la parte del programador encargada de procesar los archivos DAG).

YourEnvironmentName-Scheduler

Registros que genera el programador de Airflow.

YourEnvironmentName-Task

Registros de las tareas que genera un DAG.

YourEnvironmentName-WebServer

Registros que genera la interfaz web de Airflow.

YourEnvironmentName-Worker

Registros que se generan como parte del flujo de trabajo y de la ejecución de los DAG.

Habilitación de los registros de Apache Airflow

Puede habilitar los registros de Apache Airflow en los niveles INFO, WARNING, ERROR o CRITICAL. A elegir un nivel de registro, Amazon MWAA envía los registros correspondientes a ese nivel y a todos los niveles de gravedad superiores. Por ejemplo, si habilita los registros en el INFO nivel, Amazon MWAA envía INFO los registros y WARNINGERROR, y los niveles de CRITICAL registro a CloudWatch Logs.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija Editar.

  4. Elija Siguiente.

  5. Elija una o varias de las siguientes opciones de registro:

    1. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

    2. Elija el grupo de registros del servidor web de Airflow en el panel de supervisión.

    3. Elija el grupo de registro de los procesos de trabajo de Airflow en el panel de monitorización.

    4. Elija el grupo de registro del procesamiento de los DAG de Airflow en el panel de monitorización.

    5. Elija el grupo de registro de las tareas de Airflow en el panel monitorización.

    6. Elija el nivel de registro en el nivel de registro.

  6. Elija Siguiente.

  7. Seleccione Save.

Acceso a los registros de Apache Airflow

En la siguiente sección se describe cómo acceder a los registros de Apache Airflow en la CloudWatch consola.

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija un grupo de registro en el panel de monitorización.

  4. Elija un registro en el flujo de registro.

Ejemplos de registros del programador

Puede acceder a los registros de Apache Airflow para que el programador programe sus flujos de trabajo y analice su carpeta. dags Los siguientes pasos describen cómo abrir el grupo de registros del programador en la consola de Amazon MWAA y cómo acceder a los registros de Apache Airflow en la consola Logs. CloudWatch

Para acceder a los registros de un requirements.txt

  1. Abra la página Entornos en la consola de Amazon MWAA.

  2. Seleccione un entorno.

  3. Elija el Grupo de registro del programador de Airflow en el panel de Monitorización.

  4. Seleccione el registro requirements_install_ip en los flujos de registro.

  5. Consulte la lista de paquetes que se instalaron en el entorno en/usr/local/airflow/.local/bin. Por ejemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consulte la lista de paquetes y compruebe si se produjo algún error en alguno de ellos durante la instalación. Si algo ha ido mal, es posible que se produzca un error similar al siguiente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Siguientes pasos