Amazon MWAA での Apache Airflow 設定オプションの使用

Apache Airflow 設定オプションは、Amazon Managed Workflows for Apache Airflow 環境に環境変数としてアタッチできます。推奨ドロップダウンリストから選択するか、Amazon MWAA コンソールでお使いの Apache Airflow バージョンに合わせてカスタム設定オプションを指定できます。このトピックでは、使用可能な Apache Airflow 設定オプションと、これらのオプションを使用して環境の Apache Airflow 設定を上書きする方法について説明します。

前提条件

このページのステップを完了するには、以下のものが必要です。

仕組み

環境を作成すると、Amazon MWAAはAmazon MWAAコンソールで指定した設定を Airflow 設定オプション として指定し、それをのコンテナのAWS Fargate環境変数にアタッチします。airflow.cfg で同じ名前の設定を使用している場合は、Amazon MWAA コンソールで指定するオプションのほうが、airflow.cfg の値よりも優先されます。

デフォルトでは、Amazon MWAA 環境の Apache Airflow UI で airflow.cfg を公開しませんが設定を公開するための webserver.expose_config の設定など、Amazon MWAA コンソールで直接 Apache Airflow 設定オプションを変更できます。

設定オプションを使用してプラグインをロードする

Apache Airflow v2 のデフォルトでは、プラグインは設定を使用して「遅延的に」ロードされるように core.lazy_load_plugins : True 設定されています。カスタムプラグインを使用している場合は、Apache Airflow 設定オプションとして core.lazy_load_plugins : False を追加し、各 Airflow プロセスの開始時にプラグインをロードしてデフォルト設定を上書きする必要があります。

設定オプションの概要

Amazon MWAA コンソールで設定を追加すると、Amazon MWAA はその設定を環境変数として書き込みます。

Apache Airflow 設定オプション

以下の画像は、Amazon MWAA コンソールで Apache Airflow 設定オプション をカスタマイズできる場所を示しています。

Apache エアフローリファレンス

Apache Airflow でサポートされている設定オプションのリストについては、Apache Airflow リファレンスガイド の 設定リファレンス を参照してください。Amazon MWAA で実行している Apache Airflow のバージョンのオプションにアクセスするには、ドロップダウンリストからバージョンを選択します。

Amazon MWAA コンソールの使用

以下の手順では、Airflow 設定オプションを環境に追加するステップを説明します。

設定リファレンス

以下のセクションでは、Amazon MWAA コンソールのドロップダウンリストに利用可能な Apache Airflow 設定のリストが表示されます。

電子メールの設定

次のリストは、Apache Airflow v2 および v3 の Amazon MWAA で使用できる Airflow E メール通知設定オプションを示しています。

SMTP トラフィックにはポート 587 を使用することをお勧めします。デフォルトでは、すべての Amazon EC2 インスタンスのポート 25 でのアウトバウンド SMTP トラフィックをAWSブロックします。ポート 25 でアウトバウンド・トラフィックを送信したい場合は、この制限を解除するようリクエストする ことができます。

タスクの設定

次のリストは、Apache Airflow v2 および v3 の Amazon MWAA の Airflow タスクのドロップダウンリストで使用できる設定を示しています。

スケジューラーの設定

次のリストは、Apache Airflow v2 および v3 の Amazon MWAA のドロップダウンリストで使用できる Apache Airflow スケジューラー設定を示しています。

ワーカーの設定

次のリストは、Apache Airflow v2 および v3 の Amazon MWAA のドロップダウンリストで使用できる Airflow ワーカー設定を示しています。

ウェブサーバーの設定

次のリストには、Apache Airflow v2 および v3 用の Amazon MWAA のドロップダウンリストで使用できる Apache Airflow ウェブサーバーの設定が表示されます。

トリガー設定

以下のリストは、Apache Airflow v2 および v3 の Amazon MWAA で使用可能な Apache Airflow トリガー 設定を示しています。

例とサンプルコード

DAG の例

次の DAG を使用して email_backend Apache Airflow 設定オプションを印刷できます。Amazon MWAA イベントに応答して実行するには、Amazon S3 ストレージバケットにある環境の DAG フォルダにコードをコピーします。

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

電子メール通知の設定例

アプリパスワードを使用する Gmail.com メールアカウントには、次の Apache Airflow 設定オプションを使用できます。詳しくは、Gmail ヘルプリファレンスガイド の アプリパスワードを使用してログインする を参照してください。

次のステップ