Amazon MWAA 環境を作成する
Amazon Managed Workflows for Apache Airflow は、Apache が提供するのと同じオープンソースの Apache Airflow とユーザーインターフェイスを使用して、選択したバージョンの環境に Apache Airflow を設定します。このガイドでは、Amazon MWAA 環境を作成する手順について説明します。
開始する前に
-
環境に指定する VPC ネットワーク の内容は、環境作成後に変更することはできません。
-
[すべてのパブリックアクセスをブロック] し、[バケットバージョニング] 管理を有効にするには、Amazon S3 バケットを設定する必要があります。
-
Amazon MWAA を使用するアクセス許可 を持ち、AWS Identity and Access Management HIU(IAM) で IAM ロールを作成するアクセス許可を持つ AWS アカウント が必要です。Apache Airflow Web サーバー の プライベートネットワーク アクセスモードを選択して、Amazon VPC 内の Apache Airflow アクセスを制限する場合は、Amazon VPC エンドポイントを作成するために IAM のアクセス許可が必要になります。
注記
Amazon MWAA は、作成時にネットワークを動的に決定します。IPv6 サブネットを使用する場合、Amazon MWAA はデータベースとウェブサーバーへの IPv6 プライベートリンク接続を作成します。Amazon MWAA はネットワークタイプ間の移行をサポートしておらず、既存の環境を IPv6 にアップグレードすることはできません。
Apache Airflow のバージョン
以下の Apache Airflow バージョンは、Amazon Managed Workflows for Apache Airflow でサポートされています。
注記
-
2025 年 12 月 30 日以降、Amazon MWAA は、Apache Airflow バージョン v2.4.3、v2.5.1、および v2.6.3 のサポートを終了します。詳細については、Apache Airflow のバージョンサポートとよくある質問 を参照してください。
-
Apache Airflow v2.2.2 以降、Amazon MWAA は Python 要件、プロバイダーパッケージ、カスタムプラグインを Apache Airflow ウェブサーバーに直接インストールすることをサポートしています。
-
Apache Airflow v2.7.2 から、要件ファイルには
--constraintステートメントを含める必要があります。制約を指定しない場合、要件に記載されているパッケージが使用している Apache Airflow のバージョンと互換性があることを確認するため、Amazon MWAA はお客様に代わって制約を指定します。要件ファイルに制約を設定する方法の詳細については、Python 依存関係のインストール を参照してください。
| Apache Airflow のバージョン | Apache Airflow リリース日 | Amazon MWAA 利用開始日 | Apache Airflow の制約 | Python バージョン |
|---|---|---|---|---|
|
2025 年 10 月 1 日 |
||||
|
2024 年 12 月 18 日 |
||||
|
2024 年 9 月 26 日 |
||||
|
2024 年 7 月 9 日 |
||||
|
2024 年 2 月 23 日 |
||||
|
2023 年 11 月 6 日 |
自己管理型の Apache Airflow デプロイの移行、または既存の Amazon MWAA 環境の移行について、メタデータデータベースのバックアップ手順を含む詳細情報は、Amazon MWAA 移行ガイド を参照してください。
環境を作成する
以下のセクションでは、Amazon MWAA 環境の作成手順について説明します。
ステップ1:詳細の指定
環境の詳細を指定します
-
Amazon MWAA コンソール
を開きます。 -
AWS リージョン を選択します。
-
環境の作成を選択します。
-
詳細を指定 ページの 環境の詳細 で:
-
名前 に環境の一意の名前を入力します。
-
[エアフローバージョン] で Apache エアフローバージョンを選択します。
注記
値が指定されない場合、デフォルトは最新の Apache Airflow バージョンとなります。利用可能な最新バージョンは Apache Airflow v3.0.6 です。
-
-
Amazon S3 の DAG コード で以下を指定します。
-
S3 バケット。Browse S3を選択して Amazon S3 バケットを選択するか、Amazon S3 URI を入力します。
-
DAG フォルダー。Browse S3 を選択し、Amazon S3 バケット内の
dagsフォルダを選択するか、Amazon S3 URI を入力します。 -
プラグインファイル - オプション。Browse S3 を選択し、Amazon S3 バケット上の
plugins.zipファイルを選択するか、Amazon S3 の URI を入力します。 -
要件ファイル - オプション。Browse S3 を選択し、Amazon S3 バケット上の
requirements.txtファイルを選択するか、Amazon S3 の URI を入力します。 -
スタートアップスクリプトファイル - オプション、参照S3 を選択し、Amazon S3 バケット上のスクリプトファイルを選択するか、Amazon S3 URI を入力します。
-
-
次へ を選択します。
ステップ2:詳細設定の設定
詳細設定を設定するには
-
詳細設定の設定 ページの ネットワーク で:
-
Amazon VPC を選択してください。
このステップでは、Amazon VPC の 2 つのサブネットを設定します。
-
-
ウェブサーバーアクセスで、お好みの Apache Airflow アクセスモード を選択します。
-
プライベートネットワーク。これにより、Apache Airflow UI へのアクセスが、環境の IAM ポリシー へのアクセスを許可された Amazon VPC 内 のユーザーに制限されます。このステップには Amazon VPC エンドポイントを作成する権限が必要です。
注記
Apache Airflow UI にアクセスできるのは企業ネットワークのみで、ウェブサーバ要件をインストールするためにパブリックリポジトリにアクセスする必要がない場合は、[プライベートネットワーク] オプションを選択します。このアクセスモードオプションを選択する場合は、Amazon VPC 内の Apache Airflow ウェブサーバーにアクセスするメカニズムを作成する必要があります。詳細については、Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス) を参照してください。
-
パブリックネットワーク。これにより、環境の IAM ポリシー へのアクセスを許可されたユーザーは、インターネット経由で Apache Airflow UI にアクセスできます。
-
-
セキュリティグループ で、Amazon VPC を保護するために使用するセキュリティグループを選択します。
-
デフォルトでは、Amazon MWAA は Amazon VPC にセキュリティグループを作成し、新しいセキュリティグループの作成 で特定のインバウンドルールとアウトバウンドルールを設定します。
-
オプション。新しいセキュリティグループの作成 のチェックボックスをオフにして、最大 5 つのセキュリティグループを選択します。
注記
既存の Amazon VPC セキュリティグループでは、ネットワークトラフィックを許可する特定のインバウンドルールとアウトバウンドルールを設定する必要があります。詳細については、Amazon MWAA の VPC のセキュリティ を参照してください。
-
-
環境クラス で、環境クラス を選択します。
ワークロードをサポートするために必要な最小サイズを選択することをお勧めします。環境クラスは、随時変更できます。
-
最大ワーカー数 は、環境内で実行する Apache Airflow ワーカーの最大数を指定します。
詳細については、高パフォーマンスのユースケースの例 を参照してください。
-
最大ウェブサーバー数 と 最小ウェブサーバー数 を指定して、Amazon MWAA が環境内の Apache Airflow ウェブサーバーをスケールする方法を設定します。
ウェブサーバーの自動スケーリングの詳細については、Amazon MWAA ウェブサーバーの自動スケーリングの設定 を参照してください。
-
暗号化 で、データ暗号化オプションを選択します。
-
デフォルトでは、Amazon MWAA AWS が所有キーを使用してデータを暗号化します。
-
オプション。暗号化設定のカスタマイズ (アドバンスド) を選択して別の AWS KMS キーを選択します。このステップで カスタマーマネージドキー の指定を選択した場合は、AWS KMS キー ID または ARN を指定する必要があります。Amazon MWAA は AWS KMS エイリアスとマルチゾーンキーをサポートしていません。Amazon S3 バケットでサーバー側の暗号化用に Amazon S3 キーを指定した場合、Amazon MWAA 環境にも同じキーを指定する必要があります。
注記
Amazon MWAA コンソールでキーを選択するには、そのキーに対するアクセス許可が必要です。また、キーポリシーの添付 で説明されているポリシーを追加して Amazon MWAA にキーを使用するアクセス許可を付与する必要があります。
-
-
推奨。モニタリング で、Apache Airflow ログを CloudWatch Logs に送信するための Airflow ログ記録設定 のログカテゴリを 1 つ以上選択します。
-
Airflow タスクログ。ログレベル で CloudWatch Logs に送信する Apache Airflow タスクログのタイプを選択します。
-
Airflow ウェブサーバーのログ。ログレベル で CloudWatch Logs に送信する Apache Airflow タスクログのタイプを選択します。
-
Airflow スケジューラーログ。ログレベル で CloudWatch Logs に送信する Apache Airflow スケジューラログのタイプを選択します。
-
Airflow ワーカーログ。ログレベルで CloudWatch Logs に送信する Apache Airflow ワーカーログのタイプを選択します。
-
Airflow DAG 処理ログ。ログレベル で CloudWatch Logs に送信する Apache Airflow DAG 処理ログのタイプを選択します。
-
-
オプション。Airflow 設定オプションで、カスタム設定オプションの追加 を選択します。
Apache Airflow バージョンの Apache Airflow 設定オプションの推奨ドロップダウンリストから選択するか、カスタム設定オプションを指定できます。例えば、
core.default_task_retries:3です。 -
オプション。タグ で 新しいタグ の追加を選択し、タグを環境に関連付けます。例えば、
Environment:Stagingです。 -
アクセス許可 で、実行ロールを選択する:
-
デフォルトでは、Amazon MWAA は 新しいロールの作成で 実行ロールを作成します。このオプションを使用するには、IAM ロールを作成する権限が必要です。
-
オプション。ロール ARN を入力 を選択して、既存の実行ロールの Amazon リソースネーム (ARN) を入力します。
-
-
次へ を選択します。
ステップ 3: レビューと作成
環境の概要の表示
-
環境の概要を確認し、環境作成 を選択します。
注記
環境の作成には約 20 ~ 30 分かかります。