Solução de problemas: DAGs, operadores, conexões e outros problemas

Aprenda a criar chaves secretas para sua conexão e variáveis do Apache Airflow em Como configurar uma conexão do Apache Airflow usando um segredo AWS Secrets Manager.

Saiba como usar a chave secreta para uma variável do Apache Airflow (test-variable) em Como usar uma chave secreta em AWS Secrets Manager para uma variável do Apache Airflow.

Saiba como usar a chave secreta para uma conexão Apache Airflow (myconn) em Como usar uma chave secreta em AWS Secrets Manager para uma conexão do Apache Airflow.

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-docker-images no GitHub.

Adicione as seguintes entradas ao requirements.txt para seu ambiente.

apache-airflow-providers-snowflake==1.3.0

Adicione as seguintes importações ao seu DAG:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

ID de conexão: snowflake_conn

Tipo de conexão: Snowflake

Host: <my account>.<my region if not us-west-2>.snowflakecomputing.com

Esquema: <my schema>

Login: <my user name>

Senha: ********

Porta: <port, if any>

Extra:

{
						"account": "<my account>",
						"warehouse": "<my warehouse>",
						"database": "<my database>",
						"region": "<my region if not using us-west-2 otherwise omit this line>"
						}

Acesse os tipos de conexão que o Amazon MWAA fornece na IU do Apache Airflow em Pacotes do provedor Apache Airflow instalados em ambientes Amazon MWAA.

Acesse os comandos para criar uma conexão do Apache Airflow na CLI em Referência de comandos da CLI do Apache Airflow.

Aprenda a usar modelos de conexão na IU do Apache Airflow de forma intercambiável para tipos de conexão que não estão disponíveis na IU do Apache Airflow no Amazon MWAA em Visão geral dos tipos de conexão.

Verifique as opções de configuração do Apache Airflow. Verifique se os pares de chave-valor que você especificou como uma opção de configuração do Apache Airflow, como AWS Secrets Manager, foram configurados corretamente. Consulte Não consigo me conectar ao Secrets Manager para saber mais.

Verifique requirements.txt. Verifique se o pacote “extras” do Airflow e outras bibliotecas listadas no seu requirements.txt são compatíveis com sua versão do Apache Airflow.

Explore formas de especificar dependências do Python em um arquivo requirements.txt, consulte Como gerenciar dependências do Python em requirements.txt.

Confirme se seu grupo de segurança da VPC permite acesso de entrada à porta 5432. Essa porta é necessária para se conectar ao banco de dados de metadados PostgreSQL do Amazon Aurora para seu ambiente. Depois que essa regra for adicionada, o Amazon MWAA levará alguns minutos até o erro desaparecer. Consulte Segurança em sua VPC no Amazon MWAA para saber mais.

Se o programador não estiver em execução, pode ser devido a vários fatores, como falhas na instalação de dependências ou um programador sobrecarregado. Confirme se seus DAGs, plug-ins e requisitos estão funcionando corretamente acessando os grupos de log correspondentes no CloudWatch Logs. Consulte Monitoramento e métricas para o Amazon Managed Workflows for Apache Airflow para saber mais.

Pode haver um grande número de DAGs definidos. Reduza o número de DAGs e realize uma atualização do ambiente (como alterar um nível de log) para forçar uma reinicialização.

1. O Airflow analisa os DAGs, estejam eles habilitados ou não. Se você estiver usando mais de 50% da capacidade do seu ambiente, é possível começar a sobrecarregar o agendador do Apache Airflow. Isso leva a um grande tempo total de análise no CloudWatch Metrics ou a longos tempos de processamento do DAG no CloudWatch Logs. Há outras maneiras de otimizar as configurações do Apache Airflow que estão fora do escopo deste guia.

2. Para saber mais sobre as práticas recomendadas para ajustar o desempenho do seu ambiente, consulte Ajuste de desempenho para o Apache Airflow no Amazon MWAA.

Pode haver um grande número de tarefas na fila. Isso geralmente aparece como um grande (e crescente) número de tarefas no estado None ou como um grande número em Queued Tasks e/ou Tasks Pending no CloudWatch. Este erro pode ocorrer pelos seguintes motivos:

1. Se houver mais tarefas a serem executadas do que o ambiente tem a capacidade de executar e/ou um grande número de tarefas que foram colocadas em fila antes do ajuste de escala automático, você terá tempo para detectar as tarefas e implantar mais operadores.

2. Se houver mais tarefas para executar do que um ambiente tem a capacidade de executar, recomendamos reduzir o número de tarefas que seus DAGs executam simultaneamente e/ou aumentar o número mínimo de operadores no Apache Airflow.

3. Se houver um grande número de tarefas que foram colocadas em fila antes que o ajuste de escala automático tivesse tempo de detectar e implantar operadores adicionais, recomendamos intercalar a implantação de tarefas e/ou aumentar o número mínimo de operadores no Apache Airflow.

4. É possível usar o comando update-environment no AWS Command Line Interface (AWS CLI) para alterar o número mínimo ou máximo de operadores que são executados em seu ambiente.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Para saber mais sobre as práticas recomendadas para ajustar o desempenho do seu ambiente, consulte Ajuste de desempenho para o Apache Airflow no Amazon MWAA.

Se suas tarefas estiverem travadas no estado “em execução”, você também poderá limpá-las ou marcá-las como bem-sucedidas ou malsucedidas. Isso permite que o componente de ajuste de escala automático do seu ambiente reduza a escala verticalmente do número de operadores em execução no seu ambiente. A imagem a seguir mostra um exemplo de uma tarefa perdida.

1. Escolha o círculo para a tarefa perdida e selecione Limpar (conforme mostrado). Isso permite ao Amazon MWAA reduzir a escala verticalmente dos operadores; caso contrário, o Amazon MWAA não poderá determinar quais DAGs estão ativados ou desativados e não poderá reduzir a escala verticalmente se ainda houver tarefas na fila.

   

Saiba mais sobre o ciclo de vida das tarefas do Apache Airflow em Conceitos no Guia de referência do Apache Airflow.

Teste seus DAGs, plug-ins personalizados e dependências do Python localmente usando aws-mwaa-docker-images no GitHub.

Crie seu script de “transform” (transformação).

#!/bin/bash
cp $1 $2

Opcional: os usuários do macOS e do Linux podem precisar executar o comando a seguir para garantir que o script seja executável.

chmod 777 transform_test.sh

Adicione o script ao seu arquivo plugins.zip.

zip plugins.zip transform_test.sh

Siga as etapas em Carregar o plugins.zip para o Amazon S3.

Siga as etapas em Especificação da versão do plugins.zip no console do Amazon MWAA.

Crie o seguinte DAG.

from airflow import DAG
						from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
						from airflow.utils.dates import days_ago
						import os
						
						DAG_ID = os.path.basename(__file__).replace(".py", "")
						
						with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
						file_transform = S3FileTransformOperator(
						task_id='file_transform',
						transform_script='/usr/local/airflow/plugins/transform_test.sh',
						source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
						dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
						)

Siga as etapas em Como fazer upload do código DAG para o Amazon S3.