Accesso ai log di Airflow in Amazon CloudWatch - Flussi di lavoro gestiti da Amazon per Apache Airflow
PrezziPrima di iniziareTipi di logAbilitazione dei log di Apache AirflowAccesso ai log di Apache AirflowEsempi di log dello schedulerFasi successive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Accesso ai log di Airflow in Amazon CloudWatch

Amazon MWAA può inviare i log di Apache Airflow ad Amazon. CloudWatch Puoi accedere ai log di più ambienti da un'unica posizione per identificare facilmente i ritardi nelle attività di Apache Airflow o gli errori del flusso di lavoro senza strumenti di terze parti aggiuntivi. I log di Apache Airflow devono essere abilitati sulla console Amazon Managed Workflows for Apache Airflow per accedere all'elaborazione, alle attività, al server web e ai log dei lavoratori di Apache Airflow DAG. CloudWatch

Prezzi

  • Si applicano le tariffe Standard Logs. CloudWatch Per ulteriori informazioni, consulta la pagina CloudWatch dei prezzi.

Prima di iniziare

Tipi di log

Amazon MWAA crea un gruppo di log per ogni opzione di registrazione Airflow abilitata e invia i log ai gruppi Logs associati a un ambiente. CloudWatch I gruppi di log sono denominati nel seguente formato:. YourEnvironmentName-LogType Ad esempio, se il nome dell'ambiente è denominatoAirflow-v202-Public, i log delle attività di Apache Airflow vengono inviati a. Airflow-v202-Public-Task

Tipo di log Descrizione

YourEnvironmentName-DAGProcessing

I log del gestore del processore DAG (la parte dello scheduler che elabora i file DAG).

YourEnvironmentName-Scheduler

I log generati dallo scheduler Airflow.

YourEnvironmentName-Task

I log delle attività generati da un DAG.

YourEnvironmentName-WebServer

I log generati dall'interfaccia web Airflow.

YourEnvironmentName-Worker

I log generati come parte del flusso di lavoro e dell'esecuzione del DAG.

Abilitazione dei log di Apache Airflow

È possibile abilitare i log di Apache Airflow a livello INFOWARNING,, ERROR o. CRITICAL Quando scegli un livello di log, Amazon MWAA invia i log per quel livello e tutti i livelli di gravità più elevati. Ad esempio, se abiliti i log a INFO livello, Amazon MWAA invia INFO log e WARNINGERROR, e livelli di CRITICAL log a Logs. CloudWatch

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegli Modifica.

  4. Scegli Next (Successivo).

  5. Scegliete una o più delle seguenti opzioni di registrazione:

    1. Scegli il gruppo di log dello scheduler Airflow nel riquadro Monitoraggio.

    2. Scegli il gruppo di log del server web Airflow nel pannello Monitoraggio.

    3. Scegli il gruppo di log di lavoro Airflow nel riquadro Monitoraggio.

    4. Scegli il gruppo di log di elaborazione Airflow DAG nel riquadro Monitoraggio.

    5. Scegli il gruppo di log delle attività Airflow nel riquadro Monitoraggio.

    6. Scegliete il livello di registrazione in Livello di registro.

  6. Scegli Next (Successivo).

  7. Scegli Save (Salva).

Accesso ai log di Apache Airflow

La sezione seguente descrive come accedere ai log di Apache Airflow nella console. CloudWatch

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegli un gruppo di log nel riquadro Monitoraggio.

  4. Scegli un log in Log stream.

Esempi di log dello scheduler

Puoi accedere ai log di Apache Airflow per lo scheduler che pianifica i flussi di lavoro e analizza la cartella. dags I passaggi seguenti descrivono come aprire il gruppo di log per lo scheduler sulla console Amazon MWAA e accedere ai log di Apache Airflow sulla console Logs. CloudWatch

Per accedere ai log di un requirements.txt

  1. Apri la pagina Ambienti sulla console Amazon MWAA.

  2. Scegli un ambiente.

  3. Scegli il gruppo di log dello scheduler Airflow nel riquadro Monitoraggio.

  4. Scegli il requirements_install_ip log in Log Streams.

  5. Fate riferimento all'elenco dei pacchetti che sono stati installati nell'ambiente all'indirizzo/usr/local/airflow/.local/bin. Ad esempio:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Controlla l'elenco dei pacchetti e verifica se qualcuno di questi ha riscontrato un errore durante l'installazione. Se qualcosa è andato storto, potresti ricevere un errore simile al seguente:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Fasi successive