Zugreifen auf Airflow-Protokolle in Amazon CloudWatch - Amazon Managed Workflows für Apache Airflow
PreiseBevor Sie beginnenTypen von ProtokollenApache Airflow Airflow-Protokolle aktivierenZugreifen auf Apache Airflow Airflow-ProtokolleBeispiel für Scheduler-ProtokolleAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Zugreifen auf Airflow-Protokolle in Amazon CloudWatch

Amazon MWAA kann Apache Airflow Airflow-Protokolle an Amazon senden. CloudWatch Sie können von einem einzigen Standort aus auf Protokolle für mehrere Umgebungen zugreifen, um Verzögerungen oder Workflow-Fehler bei Apache Airflow ohne zusätzliche Tools von Drittanbietern einfach zu identifizieren. Apache Airflow-Protokolle müssen auf der Amazon Managed Workflows for Apache Airflow Airflow-Konsole aktiviert sein, um auf die Apache Airflow DAG-Verarbeitung, Aufgaben, Webserver und Worker-Logs zugreifen zu können. CloudWatch

Preise

  • Es fallen Standardgebühren für Logs CloudWatch an. Weitere Informationen finden Sie unter CloudWatch Preise.

Bevor Sie beginnen

Typen von Protokollen

Amazon MWAA erstellt für jede Airflow-Protokollierungsoption, die Sie aktivieren, eine Protokollgruppe und überträgt die Protokolle an die Protokollgruppen, die einer CloudWatch Umgebung zugeordnet sind. Protokollgruppen werden im folgenden Format benannt:. YourEnvironmentName-LogType Wenn Ihre Umgebung beispielsweise benannt istAirflow-v202-Public, werden Apache Airflow-Taskprotokolle an Airflow-v202-Public-Task gesendet.

Protokolltyp Beschreibung

YourEnvironmentName-DAGProcessing

Die Protokolle des DAG-Prozessor-Managers (der Teil des Schedulers, der DAG-Dateien verarbeitet).

YourEnvironmentName-Scheduler

Die vom Airflow-Scheduler generierten Protokolle.

YourEnvironmentName-Task

Die Aufgabenprotokolle, die eine DAG generiert.

YourEnvironmentName-WebServer

Die von der Airflow-Weboberfläche generierten Protokolle.

YourEnvironmentName-Worker

Die im Rahmen der Workflow- und DAG-Ausführung generierten Protokolle.

Apache Airflow Airflow-Protokolle aktivieren

Sie können Apache Airflow Airflow-Protokolle auf der CRITICAL Ebene INFOWARNING,ERROR, oder aktivieren. Wenn Sie eine Protokollebene wählen, sendet Amazon MWAA Protokolle für diese Stufe und alle höheren Schweregrade. Wenn Sie beispielsweise Protokolle auf der INFO Ebene aktivieren, sendet Amazon MWAA INFO Protokolle und WARNINGERROR, und Protokollebenen an CRITICAL CloudWatch Logs.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie Bearbeiten aus.

  4. Wählen Sie Weiter aus.

  5. Wählen Sie eine oder mehrere der folgenden Protokollierungsoptionen aus:

    1. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

    2. Wählen Sie im Bereich Überwachung die Airflow-Webserver-Protokollgruppe aus.

    3. Wählen Sie im Bereich Überwachung die Airflow-Worker-Protokollgruppe aus.

    4. Wählen Sie im Bereich Überwachung die Airflow DAG-Verarbeitungsprotokollgruppe aus.

    5. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Task aus.

    6. Wählen Sie die Protokollierungsebene unter Protokollebene aus.

  6. Wählen Sie Weiter aus.

  7. Wählen Sie Speichern.

Zugreifen auf Apache Airflow Airflow-Protokolle

Im folgenden Abschnitt wird beschrieben, wie Sie in der CloudWatch Konsole auf Apache Airflow Airflow-Protokolle zugreifen können.

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung eine Protokollgruppe aus.

  4. Wählen Sie ein Protokoll im Protokollstream aus.

Beispiel für Scheduler-Protokolle

Sie können auf die Apache Airflow Airflow-Protokolle für den Scheduler zugreifen, um Ihre Workflows zu planen und Ihren Ordner zu analysieren. dags In den folgenden Schritten wird beschrieben, wie Sie die Protokollgruppe für den Scheduler auf der Amazon MWAA-Konsole öffnen und auf die Apache Airflow Airflow-Protokolle in der Logs-Konsole zugreifen. CloudWatch

Um auf Protokolle für einen zuzugreifen requirements.txt

  1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

  2. Wählen Sie eine Umgebung aus.

  3. Wählen Sie im Bereich Überwachung die Protokollgruppe Airflow Scheduler aus.

  4. Wählen Sie unter requirements_install_ip Log-Streams die Option Log Streams aus.

  5. Eine Liste der Pakete, die in der Umgebung installiert wurden, finden Sie unter/usr/local/airflow/.local/bin. Beispiel:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Sehen Sie sich die Liste der Pakete an und überprüfen Sie, ob bei der Installation eines dieser Pakete ein Fehler aufgetreten ist. Wenn etwas schief gelaufen ist, erhalten Sie möglicherweise eine Fehlermeldung, die der folgenden ähnelt:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Als nächstes