Como acessar logs do Airflow no Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
PreçosAntes de começarTipos de logComo habilitar registros do Apache AirflowComo acessar logs do Apache AirflowExemplos de logs do agendadorPróximas etapas

Como acessar logs do Airflow no Amazon CloudWatch

O Amazon MWAA pode enviar logs do Apache Airflow para o Amazon CloudWatch. É possível visualizar logs de vários ambientes em um único local para identificar facilmente atrasos nas tarefas do Apache Airflow ou erros no fluxo de trabalho sem a necessidade de outras ferramentas de terceiros. Os logs do Apache Airflow precisam estar habilitados no console do Amazon Managed Workflows for Apache Airflow para acessar o processamento de DAG, as tarefas, o servidor Web e os logs do operador do Apache Airflow no CloudWatch.

Preços

  • São aplicadas cobranças padrão pelos logs do CloudWatch. Para obter mais informações, consulte Preço do CloudWatch.

Antes de começar

Tipos de log

O Amazon MWAA cria um grupo de logs para cada opção de registro em log do Airflow que você habilita e envia os logs para os grupos do CloudWatch Logs associados a um ambiente. O grupo de logs é nomeado no seguinte formato: YourEnvironmentName-LogType. Por exemplo, se seu ambiente foi nomeado como Airflow-v202-Public, os logs de tarefas do Apache Airflow serão enviados para Airflow-v202-Public-Task.

Tipo de log Descrição

YourEnvironmentName-DAGProcessing

Os logs do gerenciador do processador do DAG (a parte do agendador que processa os arquivos do DAG).

YourEnvironmentName-Scheduler

Os logs gerados pelo agendador do Airflow.

YourEnvironmentName-Task

Os logs de tarefas gerados por um DAG.

YourEnvironmentName-WebServer

Os logs gerados pela interface web do Airflow.

YourEnvironmentName-Worker

Os logs gerados como parte do fluxo de trabalho e da execução do DAG.

Como habilitar registros do Apache Airflow

Você pode ativar os logs do Apache Airflow no nível INFO, WARNING, ERROR e CRITICAL. Quando você escolhe um nível de log, o Amazon MWAA envia logs desse nível e de todos os níveis mais altos de severidade. Por exemplo, se você habilitar logs no nível INFO, o Amazon MWAA enviará logs INFO e níveis de log WARNING, ERROR e CRITICAL para o CloudWatch Logs.

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Escolha um ambiente.

  3. Escolha Editar.

  4. Escolha Próximo.

  5. Escolha uma ou mais das seguintes opções de registro em log:

    1. Escolha grupo de logs de agendador do Airflow no painel Monitoramento.

    2. Escolha grupo de logs do servidor Web do Airflow no painel Monitoramento.

    3. Escolha Grupo de logs do operador no Airflow no painel Monitoramento.

    4. Escolha Grupo de logs de processamento de DAG no Airflow no painel Monitoramento.

    5. Escolha Grupo de logs de tarefa no Airflow no painel Monitoramento.

    6. Escolha o nível de registro em log em Nível de log.

  6. Escolha Próximo.

  7. Escolha Salvar.

Como acessar logs do Apache Airflow

A seção a seguir descreve como acessar logs do Apache Airflow no console do CloudWatch.

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Escolha um ambiente.

  3. Escolha um grupo de logs no painel Monitoramento.

  4. Escolha um log em Fluxo de logs.

Exemplos de logs do agendador

Você pode acessar os logs do Apache Airflow para o agendador que agendar seus fluxos de trabalho e analisar sua pasta dags. As etapas a seguir descrevem como abrir o grupo de logs do agendador no console do Amazon MWAA e acessar os logs do Apache Airflow no console do CloudWatch Logs.

Para acessar os logs para um requirements.txt

  1. Abra a página Ambientes no console do Amazon MWAA.

  2. Escolha um ambiente.

  3. Escolha grupo de logs de agendador do Airflow no painel Monitoramento.

  4. Escolha o log requirements_install_ip em Fluxos de logs.

  5. Consulte a lista de pacotes que foram instalados no ambiente em /usr/local/airflow/.local/bin. Por exemplo:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Analise a lista de pacotes e verifique se algum deles encontrou algum erro durante a instalação. Se algo der errado, pode ocorrer um erro semelhante ao seguinte:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Próximas etapas