Accès aux journaux Airflow sur Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
TarificationAvant de commencerTypes de journauxActivation des journaux Apache AirflowAccès aux journaux d'Apache AirflowExemples de journaux du planificateurQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Accès aux journaux Airflow sur Amazon CloudWatch

Amazon MWAA peut envoyer les journaux Apache Airflow à Amazon. CloudWatch Vous pouvez accéder aux journaux de plusieurs environnements à partir d'un seul emplacement afin d'identifier facilement les retards de tâches ou les erreurs de flux de travail d'Apache Airflow sans outils tiers supplémentaires. Les journaux Apache Airflow doivent être activés sur la console Amazon Managed Workflows for Apache Airflow pour accéder au traitement, aux tâches, au serveur Web et aux connexions des travailleurs d'Apache Airflow DAG. CloudWatch

Tarification

  • CloudWatch Les frais de journalisation standard s'appliquent. Pour plus d'informations, reportez-vous à la section CloudWatch Tarification.

Avant de commencer

Types de journaux

Amazon MWAA crée un groupe de journaux pour chaque option de journalisation Airflow que vous activez et transmet les journaux aux groupes de CloudWatch journaux associés à un environnement. Les groupes de journaux sont nommés au format suivant :YourEnvironmentName-LogType. Par exemple, si votre environnement est nomméAirflow-v202-Public, les journaux des tâches d'Apache Airflow sont envoyés à. Airflow-v202-Public-Task

Type de journal Description

YourEnvironmentName-DAGProcessing

Les journaux du gestionnaire du processeur DAG (la partie du planificateur qui traite les fichiers DAG).

YourEnvironmentName-Scheduler

Les journaux générés par le planificateur Airflow.

YourEnvironmentName-Task

Les journaux de tâches générés par un DAG.

YourEnvironmentName-WebServer

Les journaux générés par l'interface Web Airflow.

YourEnvironmentName-Worker

Les journaux générés dans le cadre du flux de travail et de l'exécution du DAG.

Activation des journaux Apache Airflow

Vous pouvez activer les journaux Apache Airflow au niveauINFO, WARNINGERROR, ouCRITICAL. Lorsque vous choisissez un niveau de journalisation, Amazon MWAA envoie des journaux correspondant à ce niveau et à tous les niveaux de gravité supérieurs. Par exemple, si vous activez les journaux au INFO niveau, Amazon MWAA envoie INFO les journaux et WARNING les niveaux de CRITICAL journalisation à CloudWatch Logs. ERROR

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez Modifier.

  4. Choisissez Suivant.

  5. Choisissez une ou plusieurs des options de journalisation suivantes :

    1. Choisissez le groupe de journaux du planificateur Airflow dans le volet de surveillance.

    2. Choisissez le groupe de journaux du serveur Web Airflow dans le volet de surveillance.

    3. Choisissez le groupe de journaux de travail Airflow dans le volet de surveillance.

    4. Choisissez le groupe de journaux de traitement Airflow DAG dans le volet Surveillance.

    5. Choisissez le groupe de journaux de tâches Airflow dans le volet Surveillance.

    6. Choisissez le niveau de journalisation dans Log level.

  6. Choisissez Suivant.

  7. Choisissez Enregistrer.

Accès aux journaux d'Apache Airflow

La section suivante décrit comment accéder aux journaux Apache Airflow dans la CloudWatch console.

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez un groupe de journaux dans le volet de surveillance.

  4. Choisissez un flux de journal de connexion.

Exemples de journaux du planificateur

Vous pouvez accéder aux journaux d'Apache Airflow pour le planificateur qui planifie vos flux de travail et analyse votre dossier. dags Les étapes suivantes décrivent comment ouvrir le groupe de journaux pour le planificateur sur la console Amazon MWAA et accéder aux journaux Apache Airflow sur la console Logs. CloudWatch

Pour accéder aux journaux d'un requirements.txt

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez le groupe de journaux du planificateur Airflow dans le volet de surveillance.

  4. Choisissez le requirements_install_ip log in Log streams.

  5. Reportez-vous à la liste des packages installés sur l'environnement à l'adresse/usr/local/airflow/.local/bin. Exemples :

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Consultez la liste des packages et vérifiez si l'un d'entre eux a rencontré une erreur lors de l'installation. En cas de problème, vous risquez de recevoir un message d'erreur similaire à ce qui suit :

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Quelle est la prochaine étape ?