As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como usar opções de configuração do Apache Airflow no Amazon MWAA

As opções de configuração do Apache Airflow podem ser anexadas ao seu ambiente Amazon Managed Workflows for Apache Airflow como variáveis de ambiente. Você pode escolher na lista suspensa sugerida ou especificar opções de configuração personalizadas para sua versão do Apache Airflow no console Amazon MWAA. Este tópico descreve as opções de configuração do Apache Airflow disponíveis e como usá-las para substituir as configurações do Apache Airflow em seu ambiente.

Pré-requisitos

Você precisará do seguinte antes de concluir as etapas nesta página.

Como funciona

Quando você cria um ambiente, o Amazon MWAA anexa as definições de configuração que você especifica no console do Amazon MWAA nas opções de configuração do Airflow como variáveis de ambiente ao contêiner do seu ambiente. AWS Fargate Se você estiver usando uma configuração com o mesmo nome em airflow.cfg, as opções especificadas no console do Amazon MWAA substituirão os valores em airflow.cfg.

Embora não o exponhamos airflow.cfg na interface de usuário do Apache Airflow de um ambiente do Amazon MWAA por padrão, é possível alterar as opções de configuração do Apache Airflow diretamente no console do Amazon MWAA, incluindo a configuração webserver.expose_config para expor as definições.

Usando opções de configuração para carregar plug-ins

Por padrão, no Apache Airflow v2 e versões posteriores, os plug-ins são configurados para serem carregados “lentamente” usando a configuração. core.lazy_load_plugins : True Se você estiver usando plug-ins personalizados, deverá adicionar core.lazy_load_plugins : False uma opção de configuração do Apache Airflow para carregar plug-ins no início de cada processo do Airflow para substituir a configuração padrão.

Visão geral das opções de configuração

Ao adicionar uma configuração no console do Amazon MWAA, o Amazon MWAA grava a configuração como uma variável de ambiente.

Opções de configuração do Apache Airflow

A imagem a seguir mostra onde você pode personalizar as opções de configuração do Apache Airflow no console Amazon MWAA.

Referência do Apache Airflow

Para obter uma lista das opções de configuração suportadas pelo Apache Airflow, consulte Referência de configuração no guia de referência do Apache Airflow. Para acessar as opções da versão do Apache Airflow que você está executando no Amazon MWAA, selecione a versão na lista suspensa.

Como usar o console do Amazon SNS

O procedimento a seguir descreve as etapas para adicionar uma opção de configuração do Airflow ao seu ambiente.

Referência da configuração

A seção a seguir contém a lista de configurações disponíveis do Apache Airflow na lista suspensa no console do Amazon MWAA.

Configurações de e-mail

A lista a seguir exibe as opções de configuração de notificação por e-mail do Airflow disponíveis no Amazon MWAA para o Apache Airflow v2 e v3.

Recomendamos usar a porta 587 para tráfego SMTP. Por padrão, AWS bloqueia o tráfego SMTP de saída na porta 25 de todas as instâncias da Amazon EC2 . Se precisar enviar tráfego de saída na porta 25, é possível solicitar que essa restrição seja removida.

Configurações da tarefa

A lista a seguir exibe as configurações disponíveis na lista suspensa para tarefas do Airflow no Amazon MWAA para Apache Airflow v2 e v3.

Configurações de scheduler

A lista a seguir exibe as configurações do agendador do Apache Airflow disponíveis na lista suspensa do Amazon MWAA para o Apache Airflow v2 e v3.

Configurações de trabalhadores

A lista a seguir exibe as configurações do Airflow worker disponíveis na lista suspensa do Amazon MWAA para Apache Airflow v2 e v3.

Configurações do servidor Web

A lista a seguir exibe as configurações do servidor web Apache Airflow disponíveis na lista suspensa no Amazon MWAA para Apache Airflow v2 e v3.

Configurações do acionador

A lista a seguir mostra as configurações de acionamento do Apache Airflow disponíveis no Amazon MWAA para o Apache Airflow v2 e v3.

Exemplos e código de exemplo

Exemplo de DAG

É possível usar o seguinte DAG para imprimir suas opções de configuração do Apache Airflow email_backend. Para executar em resposta aos eventos do Amazon MWAA, copie o código para a DAGs pasta do seu ambiente no seu bucket de armazenamento do Amazon S3.

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

Exemplo de configurações de notificação por e-mail

As seguintes opções de configuração do Apache Airflow podem ser usadas para uma conta de e-mail do Gmail.com usando uma senha de aplicativo. Para obter mais informações, consulte Fazer login usando senhas de aplicativos no guia de referência da Ajuda do Gmail.

Próximas etapas