Amazon MWAA 環境にインストールされている Apache エアフロープロバイダーパッケージ - Amazon Managed Workflows for Apache Airflow

Amazon MWAA 環境にインストールされている Apache エアフロープロバイダーパッケージ

このページには、Amazon MWAA によってすべての Apache Airflow 環境にインストールされた Apache Airflow プロバイダーパッケージが一覧表示されます。これらのパッケージの詳細については、パッケージの追加に関する Apache Airflow リファレンス を参照してください。

注記

CloudWatch ログ記録との互換性が他の Python ライブラリのインストールによって上書きされることを防ぐために、Amazon MWAA は pip3 install -r requirements.txt を実行した後に Watchtower バージョン 2.0.1 をインストールします。

制約ファイル

Apache Airflow v2.7.2 から、要件ファイルには --constraint ステートメントを含める必要があります。制約を指定しない場合、要件に記載されているパッケージが使用している Apache Airflow のバージョンと互換性があることを確認するため、Amazon MWAA はお客様に代わって制約を指定します。

Apache Airflow の制約ファイルには、Apache Airflow のリリース時点で利用可能なプロバイダーのバージョンが指定されています。ただし、多くの場合、新しいプロバイダーはそのバージョンの Apache Airflow と互換性があります。制約を使用する必要があるため、プロバイダ・パッケージの新しいバージョンを指定するには、特定のプロバイダ・バージョンに合わせて制約ファイルを変更できます。

  1. GitHub からバージョン固有の制約ファイルをダウンロードします。例: https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt ('2.7.2' を、使用するバージョンに置き換えます)。

  2. 変更した制約ファイルを、Amazon MWAA 環境の Amazon S3 DAGs フォルダに保存してください。例えば、constraints-3.11-updated.txt として保存します。

  3. 以下にリストされているように、要件を指定します。

    --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==version-number
    注記

    プライベートウェブサーバーを使用している場合は、aws-mwaa-docker-imagesを用いて必要なライブラリを WHL ファイルとしてパッケージ化することをお勧めします。

バージョン固有のプロバイダーパッケージ

Apache Airflow UI で接続タイプにアクセスするために使用できるプロバイダーパッケージをインストールします。また、これらのパッケージを requirements.txt ファイル内の Python 依存関係として指定する必要がないことも意味します。このページには、Amazon MWAA によってすべての Apache Airflow 環境にインストールされた Apache Airflow プロバイダーパッケージが一覧表示されます。

注記

Apache Airflow v2 およびそれ以降では、Amazon MWAA はpip3 install -r requirements.txtを実行した後、Watchtower バージョン2.0.1 をインストールします。これにより、CloudWatch ログが他の Python ライブラリのインストールによって上書きされることを防ぎ、互換性を確保します。

このプロバイダをアップグレードするには、サポートされている最新バージョンの apache-airflow-providers-amazon を指定できます。

サポートされている Apache Airflow バージョン:

v3.0.6
v2.10.3
v2.10.1
v2.9.2
v2.8.1
v2.7.2
v2.6.3
v2.5.1
v2.4.3