As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Acessando os registros do Airflow na Amazon CloudWatch
O Amazon MWAA pode enviar registros do Apache Airflow para a Amazon. CloudWatch Você pode acessar registros de vários ambientes em um único local para identificar facilmente atrasos nas tarefas do Apache Airflow ou erros no fluxo de trabalho sem ferramentas adicionais de terceiros. Os registros do Apache Airflow precisam estar habilitados no console Amazon Managed Workflows for Apache Airflow para acessar o processamento, as tarefas, o servidor web e os logins do trabalhador do Apache Airflow DAG. CloudWatch
Sumário
Preços
-
Aplicam-se taxas de CloudWatch registros padrão. Para obter mais informações, consulte os CloudWatch preços
.
Antes de começar
-
Você deve ter uma função que possa acessar os logins CloudWatch. Para obter mais informações, consulte Como acessar um ambiente do Amazon MWAA.
Tipos de log
O Amazon MWAA cria um grupo de registros para cada opção de registro do Airflow que você habilita e envia os registros para os grupos de registros associados a CloudWatch um ambiente. O grupo de logs é nomeado no seguinte formato: YourEnvironmentName-
. Por exemplo, se seu ambiente foi nomeado como LogType
Airflow-v202-Public
, os logs de tarefas do Apache Airflow serão enviados para Airflow-v202-Public-
.Task
Tipo de log | Descrição |
---|---|
|
Os logs do gerenciador do processador do DAG (a parte do agendador que processa os arquivos do DAG). |
|
Os logs gerados pelo agendador do Airflow. |
|
Os logs de tarefas gerados por um DAG. |
|
Os logs gerados pela interface web do Airflow. |
|
Os logs gerados como parte do fluxo de trabalho e da execução do DAG. |
Como habilitar registros do Apache Airflow
Você pode ativar os logs do Apache Airflow no nível INFO
, WARNING
, ERROR
e CRITICAL
. Quando você escolhe um nível de log, o Amazon MWAA envia logs desse nível e de todos os níveis mais altos de severidade. Por exemplo, se você habilitar registros no INFO
nível, o Amazon MWAA enviará INFO
registros e WARNING
ERROR
, e níveis de CRITICAL
log para CloudWatch Logs.
-
Abra a página Ambientes
no console do Amazon MWAA. -
Escolha um ambiente.
-
Escolha Editar.
-
Escolha Próximo.
-
Escolha uma ou mais das seguintes opções de registro em log:
-
Escolha grupo de logs de agendador do Airflow no painel Monitoramento.
-
Escolha o grupo de log do servidor web Airflow no painel Monitoramento.
-
Escolha Grupo de logs do operador no Airflow no painel Monitoramento.
-
Escolha Grupo de logs de processamento de DAG no Airflow no painel Monitoramento.
-
Escolha Grupo de logs de tarefa no Airflow no painel Monitoramento.
-
Escolha o nível de registro em log em Nível de log.
-
-
Escolha Próximo.
-
Escolha Salvar.
Acessando os registros do Apache Airflow
A seção a seguir descreve como acessar os registros do Apache Airflow no console. CloudWatch
-
Abra a página Ambientes
no console do Amazon MWAA. -
Escolha um ambiente.
-
Escolha um grupo de logs no painel Monitoramento.
-
Escolha um log em Fluxo de logs.
Exemplos de logs do agendador
Você pode acessar os registros do Apache Airflow para o agendador, agendando seus fluxos de trabalho e analisando sua pasta. dags
As etapas a seguir descrevem como abrir o grupo de registros para o agendador no console do Amazon MWAA e acessar os registros do Apache Airflow no console Logs. CloudWatch
Para acessar os registros de um requirements.txt
-
Abra a página Ambientes
no console do Amazon MWAA. -
Escolha um ambiente.
-
Escolha grupo de logs de agendador do Airflow no painel Monitoramento.
-
Escolha o log
requirements_install_ip
em Fluxos de logs. -
Consulte a lista de pacotes que foram instalados no ambiente em
/usr/local/airflow/.local/bin
. Por exemplo:Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1)) Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))
-
Analise a lista de pacotes e verifique se algum deles encontrou algum erro durante a instalação. Se algo der errado, você poderá receber um erro semelhante ao seguinte:
2021-03-05T14:34:42.731-07:00 No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4)) No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
Próximas etapas
-
Saiba como configurar um CloudWatch alarme em Usando CloudWatch alarmes da Amazon.
-
Saiba como criar um CloudWatch painel em Usando CloudWatch painéis.