在 Amazon MWAA 上使用 Apache Airflow 配置选项

Apache Airflow 配置选项可以作为环境变量附加到 Amazon MWAA 环境中。您可以从建议的下拉列表中进行选择，也可以在 Amazon MWAA 控制台上为 Apache Airflow 版本指定自定义配置选项。本主题介绍可用的 Apache Airflow 配置选项，以及如何使用这些选项来覆盖环境中的 Apache Airflow 配置设置。

先决条件

在完成本页上的步骤之前，您需要具备以下条件。

工作方式

创建环境时，Amazon MWAA 会将您在 Amazon MWAA 控制台的 Airflow 配置选项中指定的配置设置作为环境变量附加到环境 AWS Fargate 容器中。如果您在 airflow.cfg 中使用同名设置，则您在 Amazon MWAA 控制台上指定的选项将覆盖 airflow.cfg 中的值。

虽然默认情况下我们不会在 Amazon MWAA 环境的 Apache Airflow UI 中公开 airflow.cfg，但您可以直接在 Amazon MWAA 控制台上更改 Apache Airflow 配置选项，然后通过设置 webserver.expose_config 来公开配置。

使用配置选项加载插件

默认情况下，在 Apache Airflow v2 和更高版本中，使用 core.lazy_load_plugins : True 设置将插件配置为“延迟”加载。如果您使用自定义插件，则必须添加 core.lazy_load_plugins : False 为 Apache Airflow 配置选项，以便在每个 Airflow 流程开始时加载插件，从而覆盖默认设置。

配置选项概述

当您在 Amazon MWAA 控制台上添加配置时，Amazon MWAA 会将该配置作为环境变量写入。

Apache Airflow 配置选项

下图显示了您可以在 Amazon MWAA 控制台上自定义 Apache Airflow 配置选项的位置。

Apache Airflow 参考

有关 Apache Airflow 支持的配置选项列表，请参阅《Apache Airflow 参考指南》中的配置参考。要访问您在 Amazon MWAA 上运行的 Apache Airflow 版本的选项，请从下拉列表中选择版本。

使用 Amazon MWAA 控制台

以下过程将指导您完成将 Airflow 配置选项添加到环境中的步骤。

配置参考

下一节包含 Amazon MWAA 控制台下拉列表中可用的 Apache Airflow 配置列表。

电子邮件配置

以下列表显示了 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的 Airflow 电子邮件通知配置选项。

我们建议对 SMTP 流量使用端口 587。默认情况下，AWS 会阻止所有 Amazon EC2 实例的端口 25 上的出站 SMTP 流量。要在端口 25 上发送出站流量，可请求移除此限制。

任务配置数

以下列表显示了 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的 Airflow 任务下拉列表中可用的配置。

计划程序配置数

以下列表显示了 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的下拉列表中可用的 Apache Airflow 计划程序配置。

工作线程配置数

以下列表显示了 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的下拉列表中可用的 Airflow 工作线程配置。

Web 服务器配置

以下列表显示了 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的下拉列表中可用的 Apache Airflow Web 服务器配置。

触发器配置

以下列表显示了在 Amazon MWAA 上可用于 Apache Airflow v2 和 v3 的 Apache Airflow 触发器配置。

示例和示例代码

示例 DAG

您可以使用以下 DAG 来打印 email_backend Apache Airflow 配置选项。要运行以响应 Amazon MWAA 事件，请将代码复制到 Amazon S3 存储桶上环境的 DAG 文件夹。

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

示例电子邮件通知设置

以下 Apache Airflow 配置选项可用于使用应用程序密码的 Gmail.com 电子邮件帐户。有关更多信息，请参阅《Gmail 帮助参考指南》中的使用应用程序密码登录。

接下来做什么？