Solução de problemas: operadores DAGs, conexões e outros problemas

Aprenda a criar chaves secretas para sua conexão e variáveis do Apache Airflow em Configurando uma conexão do Apache Airflow usando um segredo AWS Secrets Manager.

Saiba como usar a chave secreta para uma variável do Apache Airflow (test-variable) em Usando uma chave secreta AWS Secrets Manager para uma variável do Apache Airflow.

Saiba como usar a chave secreta para uma conexão Apache Airflow (myconn) em Usando uma chave secreta AWS Secrets Manager para uma conexão do Apache Airflow.

Teste seus DAGs plug-ins personalizados e dependências do Python localmente usando on. aws-mwaa-docker-images GitHub

Adicione as seguintes entradas ao requirements.txt para seu ambiente.

apache-airflow-providers-snowflake==1.3.0

Adicione as seguintes importações ao seu DAG:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

ID de conexão: snowflake_conn

Tipo de conexão: Snowflake

Host: <my account>.<my region if not us-west-2>.snowflakecomputing.com

Esquema: <my schema>

Login: <my user name>

Senha: ********

Porta: <port, if any>

Extra:

{
						"account": "<my account>",
						"warehouse": "<my warehouse>",
						"database": "<my database>",
						"region": "<my region if not using us-west-2 otherwise omit this line>"
						}

Acesse os tipos de conexão que o Amazon MWAA fornece na interface de usuário do Apache Airflow em. Pacotes do provedor Apache Airflow instalados em ambientes Amazon MWAA

Acesse os comandos para criar uma conexão Apache Airflow na CLI em. Referência de comandos da CLI do Apache Airflow

Aprenda a usar modelos de conexão na IU do Apache Airflow de forma intercambiável para tipos de conexão que não estão disponíveis na IU do Apache Airflow no Amazon MWAA em Visão geral dos tipos de conexão.

Verifique as opções de configuração do Apache Airflow. Verifique se os pares de valores-chave que você especificou como uma opção de configuração do Apache Airflow, como AWS Secrets Manager, foram configurados corretamente. Para saber mais, consulteNão consigo me conectar ao Secrets Manager.

Verifique requirements.txt. Verifique se o pacote “extras” do Airflow e outras bibliotecas listadas no seu requirements.txt são compatíveis com sua versão do Apache Airflow.

Explore formas de especificar dependências do Python em um requirements.txt arquivo, consulte. Como gerenciar dependências do Python em requirements.txt

Confirme se seu grupo de segurança da VPC permite acesso de entrada à porta 5432. Essa porta é necessária para se conectar ao banco de dados de metadados PostgreSQL do Amazon Aurora para seu ambiente. Depois que essa regra for adicionada, aguarde alguns minutos para o Amazon MWAA e o erro poderá desaparecer. Para saber mais, consulteSegurança em sua VPC no Amazon MWAA.

Se o programador não estiver em execução, pode ser devido a vários fatores, como falhas na instalação de dependências ou um programador sobrecarregado. Confirme se seus DAGs plug-ins e requisitos estão funcionando corretamente acessando os grupos de CloudWatch registros correspondentes em Registros. Para saber mais, consulteMonitoramento e métricas para o Amazon Managed Workflows for Apache Airflow.

Pode haver um grande número de DAGs definidos. Reduza o número DAGs e realize uma atualização do ambiente (como alterar um nível de registro) para forçar uma redefinição.

1. O Airflow analisa DAGs se eles estão habilitados ou não. Se você estiver usando mais de 50% da capacidade do seu ambiente, poderá começar a sobrecarregar o agendador do Apache Airflow. Isso leva a um grande tempo total de análise nas CloudWatch métricas ou a longos tempos de processamento do DAG nos CloudWatch registros. Há outras maneiras de otimizar as configurações do Apache Airflow que estão fora do escopo deste guia.

2. Para saber mais sobre as melhores práticas que recomendamos para ajustar o desempenho do seu ambiente, consulteAjuste de desempenho para o Apache Airflow no Amazon MWAA.

Pode haver um grande número de tarefas na fila. Isso geralmente é mostrado como um grande — e crescente — número de tarefas no None estado ou como um grande número em. Queued Tasks and/or Tasks Pending CloudWatch Este erro pode ocorrer pelos seguintes motivos:

1. Se houver mais tarefas a serem executadas do que o ambiente tem a capacidade de executar, and/or um grande número de tarefas que estavam na fila antes do escalonamento automático tem tempo para detectá-las e implantar trabalhadores adicionais.

2. Se houver mais tarefas para executar do que um ambiente tem a capacidade de executar, recomendamos reduzir o número de tarefas que você DAGs executa simultaneamente, and/or aumentando o número mínimo de trabalhadores do Apache Airflow.

3. Se houver um grande número de tarefas que foram colocadas em fila antes que o escalonamento automático tivesse tempo de detectar e implantar trabalhadores adicionais, recomendamos escalonar a implantação de tarefas, aumentando o número and/or mínimo de trabalhadores do Apache Airflow.

4. Você pode usar o comando update-environment no AWS Command Line Interface (AWS CLI) para alterar o número mínimo ou máximo de trabalhadores que são executados em seu ambiente.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Para saber mais sobre as melhores práticas que recomendamos para ajustar o desempenho do seu ambiente, consulteAjuste de desempenho para o Apache Airflow no Amazon MWAA.

Se suas tarefas estiverem travadas no estado “em execução”, você também poderá limpá-las ou marcá-las como bem-sucedidas ou malsucedidas. Isso permite que o componente de ajuste de escala automático do seu ambiente reduza a escala verticalmente do número de operadores em execução no seu ambiente. A imagem a seguir mostra um exemplo de uma tarefa ociosa.

1. Escolha o círculo para a tarefa perdida e selecione Limpar (conforme mostrado). Isso permite que o Amazon MWAA reduza os trabalhadores; caso contrário, o Amazon MWAA não pode determinar quais DAGs estão ativados ou desativados e não pode reduzir a escala se ainda houver tarefas na fila.

   

Saiba mais sobre o ciclo de vida das tarefas do Apache Airflow em Conceitos no Guia de referência do Apache Airflow.

Teste seus DAGs plug-ins personalizados e dependências do Python localmente usando on. aws-mwaa-docker-images GitHub

Crie seu script de “transform” (transformação).

#!/bin/bash
cp $1 $2

(opcional) Talvez os usuários de macOS e Linux precisem executar o comando a seguir para garantir que o script seja executável.

chmod 777 transform_test.sh

Adicione o script ao seu arquivo plugins.zip.

zip plugins.zip transform_test.sh

Siga as etapas em Carregar o plugins.zip para o Amazon S3.

Siga as etapas em Especificação da versão do plugins.zip no console do Amazon MWAA.

Crie o seguinte DAG.

from airflow import DAG
						from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
						from airflow.utils.dates import days_ago
						import os
						
						DAG_ID = os.path.basename(__file__).replace(".py", "")
						
						with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
						file_transform = S3FileTransformOperator(
						task_id='file_transform',
						transform_script='/usr/local/airflow/plugins/transform_test.sh',
						source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
						dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
						)

Siga as etapas em Como fazer upload do código DAG para o Amazon S3.