安装在 Amazon MWAA 环境中的 Apache Airflow 提供程序包 - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

安装在 Amazon MWAA 环境中的 Apache Airflow 提供程序包

本页列出了 Amazon MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。有关这些程序包的更多信息,请参阅程序包 Extras 的 Apache Airflow 参考

注意

为了确保与 CloudWatch 日志记录的兼容性不会被其他 Python 库安装所覆盖,Amazon MWAA 在执行后会安装 W atchtower 版本 2.0.1。pip3 install -r requirements.txt

约束条件文件

从 Apache Airflow v2.7.2 开始,要求文件必须包含一条 --constraint 语句。如果您未提供约束条件,Amazon MWAA 将为您指定一个约束条件,以确保您的要求中列出的程序包与您正在使用的 Apache Airflow 版本兼容。

Apache Airflow 约束条件文件指定了 Apache Airflow 发布时可用的提供程序版本。但是,在许多情况下,较新的提供程序与该版本的 Apache Airflow 兼容。由于必须使用约束条件,因此要指定提供程序包的较新版本,因此可以修改特定提供程序版本的约束文件:

  1. 例如,从 GitHub https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt 下载特定于版本的约束文件(将 '2.7.2' 替换为要使用的版本)。

  2. 将修改后的约束条件文件另存到 Amazon MWAA 环境的 Amazon S3 DAG 文件夹,例如 constraints-3.11-updated.txt

  3. 如下所示,指定您的要求。

    --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number
    注意

    如果您使用的是私有 Web 服务器,我们建议您使用将所需的库打包为 WHL 文件aws-mwaa-docker-images

特定版本的提供程序包

安装提供程序包允许您在 Apache Airflow UI 中访问连接类型。这也意味着您无需在 requirements.txt 文件中将这些程序包指定为 Python 依赖项。本页列出了 Amazon MWAA 为所有支持的 Apache Airflow 环境安装的 Apache Airflow 提供程序包。

注意

对于 Apache Airflow v2 及更高版本,亚马逊 MWAA 在pip3 install -r requirements.txt执行后会安装 Watchtower 版本 2.0.1,以确保与 CloudWatch 日志的兼容性不会被其他 Python 库安装所覆盖。

您可以指定支持的 apache-airflow-providers-amazon 的最新版本来升级此提供程序。

支持的 Apache Airflow 版本:

v3.0.6
v2.11.0
v2.10.3
v2.10.1
v2.9.2
v2.8.1
v2.7.2
v2.6.3
v2.5.1
v2.4.3