安裝在 Amazon MWAA 環境上的 Apache Airflow 提供者套件 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

安裝在 Amazon MWAA 環境上的 Apache Airflow 提供者套件

此頁面列出 Amazon MWAA 為所有支援的 Apache Airflow 環境安裝的 Apache Airflow 提供者套件。如需這些套件的詳細資訊,請參閱套件額外項目的 Apache Airflow 參考

注意

為了確保其他 Python 程式庫安裝不會覆寫與 CloudWatch 記錄的相容性,Amazon MWAA 會在執行 之後安裝 Watchtower 2.0.1 版。 pip3 install -r requirements.txt

限制條件檔案

從 Apache Airflow 2.7.2 版開始,您的需求檔案必須包含 --constraint陳述式。如果您未提供限制,Amazon MWAA 會為您指定一個,以確保您的需求中列出的套件與您正在使用的 Apache Airflow 版本相容。

Apache Airflow 限制條件檔案會指定 Apache Airflow 發行時可用的提供者版本。不過,在許多情況下,較新的供應商與該版本的 Apache Airflow 相容。由於您必須使用限制條件,若要指定較新版本的提供者套件,您可以修改特定提供者版本的限制條件檔案:

  1. 從 GitHub 下載版本特定的限制條件檔案,例如 https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt (將 '2.7.2' 取代為您要使用的版本)。

  2. 將修改後的限制檔案儲存至 Amazon MWAA 環境的 Amazon S3 dags 資料夾,例如 constraints-3.11-updated.txt

  3. 指定您的需求,如下所列。

    --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number
    注意

    如果您使用的是私有 Web 伺服器,建議您使用 aws-mwaa-docker-images 將所需的程式庫封裝為 WHL 檔案

特定版本提供者套件

安裝提供者套件,您可以使用 存取 Apache Airflow UI 中的連線類型。這也表示您不需要將這些套件指定為requirements.txt檔案中的 Python 相依性。此頁面列出 Amazon MWAA 為所有支援的 Apache Airflow 環境安裝的 Apache Airflow 提供者套件。

注意

對於 Apache Airflow v2 和更新版本,Amazon MWAA 在執行 之後安裝 Watchtower 2.0.1 版pip3 install -r requirements.txt,以確保其他 Python 程式庫安裝不會覆寫與 CloudWatch 記錄的相容性。

您可以指定最新的支援版本 apache-airflow-providers-amazon來升級此供應商。

支援的 Apache Airflow 版本:

v3.0.6
v2.10.3
v2.10.1
v2.9.2
v2.8.1
v2.7.2
v2.6.3
v2.5.1
v2.4.3