Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de las opciones de configuración de Apache Airflow en Amazon MWAA

Las opciones de configuración de Apache Airflow se pueden adjuntar a su entorno de Amazon Managed Workflows para Apache Airflow como variables de entorno. Puede elegir una opción de la lista desplegable sugerida o especificar opciones de configuración personalizadas para su versión de Apache Airflow en la consola de Amazon MWAA. En este tema se describen las opciones de configuración de Apache Airflow disponibles y cómo utilizarlas para anular los ajustes de configuración de Apache Airflow en su entorno.

Requisitos previos

Para poder llevar a cabo los pasos de esta página, necesitará lo siguiente.

Funcionamiento

Al crear un entorno, Amazon MWAA adjunta los ajustes de configuración que especifique en la consola de Amazon MWAA en las opciones de configuración de Airflow como variables de entorno al contenedor de su entorno. AWS Fargate Si utiliza una configuración con el mismo nombre en airflow.cfg, las opciones que especifique en la consola Amazon MWAA anularán los valores incluidos en airflow.cfg.

Si bien no exponemos el airflow.cfg en la interfaz de usuario de Apache Airflow de un entorno de Amazon MWAA de manera predeterminada, puede cambiar las opciones de configuración de Apache Airflow directamente en la consola de Amazon MWAA, incluida la configuración de webserver.expose_config para exponer las configuraciones.

Uso de las opciones de configuración para cargar complementos

De forma predeterminada, en Apache Airflow v2 y versiones posteriores, los complementos se configuran para que se carguen de forma «lenta» mediante la configuración. core.lazy_load_plugins : True Si utiliza complementos personalizados, debe añadirlos core.lazy_load_plugins : False como opción de configuración de Apache Airflow para cargar los complementos al inicio de cada proceso de Airflow para anular la configuración predeterminada.

Información general de las opciones de configuración

Cuando agrega una configuración en la consola Amazon MWAA, Amazon MWAA escribe la configuración como una variable de entorno.

Opciones de configuración de Apache Airflow

La siguiente imagen muestra dónde puede personalizar las opciones de configuración de Apache Airflow en la consola de Amazon MWAA.

Referencia de Apache Airflow

Para obtener una lista de las opciones de configuración compatibles con Apache Airflow, consulte la Referencia de configuración en la guía de referencia de Apache Airflow. Para acceder a las opciones de la versión de Apache Airflow que ejecuta en Amazon MWAA, seleccione la versión en la lista desplegable.

Uso de la consola de Amazon MWAA

A continuación, se explican los pasos que debe seguir para añadir una opción de configuración de Apache Airflow a su entorno.

Referencia de la configuración

La siguiente sección contiene la lista de configuraciones de Apache Airflow disponibles en la lista desplegable de la consola de Amazon MWAA.

Configuración de correo electrónico

La siguiente lista muestra las opciones de configuración de las notificaciones por correo electrónico de Airflow disponibles en Amazon MWAA para Apache Airflow v2 y v3.

Recomendamos utilizar el puerto 587 para el tráfico SMTP. De forma predeterminada, AWS bloquea el tráfico SMTP saliente en el puerto 25 de todas las instancias de Amazon EC2 . Si desea enviar tráfico saliente por el puerto 25, solicite que se elimine esta restricción.

Configuración de tareas

La siguiente lista muestra las configuraciones disponibles en la lista desplegable para las tareas de Airflow en Amazon MWAA para Apache Airflow v2 y v3.

Configuraciones del programador

La siguiente lista muestra las configuraciones del programador de Apache Airflow disponibles en la lista desplegable de Amazon MWAA para Apache Airflow v2 y v3.

Configuraciones del proceso de trabajo

La siguiente lista muestra las configuraciones de trabajo de Airflow disponibles en la lista desplegable de Amazon MWAA para Apache Airflow v2 y v3.

Configuraciones de servidor web

La siguiente lista muestra las configuraciones del servidor web Apache Airflow disponibles en la lista desplegable de Amazon MWAA para Apache Airflow v2 y v3.

Configuraciones del desencadenador

La siguiente lista muestra las configuraciones del activador de Apache Airflow disponibles en Amazon MWAA para Apache Airflow v2 y v3.

Ejemplos y código de ejemplo

Ejemplo de DAG

Puede usar el siguiente DAG para imprimir las opciones de configuración email_backend de Apache Airflow. Para ejecutarlo en respuesta a eventos de la MWAA de Amazon, copia el código en la DAGs carpeta de tu entorno en el depósito de almacenamiento de Amazon S3.

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

Ejemplo de configuración de las notificaciones por correo electrónico

Las siguientes opciones de configuración de Apache Airflow se pueden utilizar para una cuenta de correo electrónico de Gmail.com con una contraseña de aplicación. Para obtener más información, consulta Cómo iniciar sesión con contraseñas de aplicaciones en la guía de referencia de la ayuda de Gmail.

Siguientes pasos