Amazon MWAA 環境クラスの構成

Amazon MWAA 環境用に選択した環境クラスによって、Celery Executor が実行される AWSマネージド AWS Fargate コンテナのサイズと、Apache Airflow スケジューラがタスクインスタンスを作成する AWSマネージド Amazon Aurora PostgreSQL メタデータデータベースのサイズが決まります。このトピックでは、各 Amazon MWAA 環境クラスと、Amazon MWAA コンソールで環境クラスを更新する方法について説明します。

環境機能

次のセクションには、各環境クラスのデフォルトの同時 Apache Airflow タスク、ランダムアクセスメモリ (RAM)、および仮想中央処理装置 (vCPUs) が含まれています。リストされている同時タスクは、タスクの同時実行数が環境内の Apache Airflow ワーカー容量を超えないことを前提としています。

次の表で、DAG キャパシティとは、実行ではなく DAG 定義を指し、DAG が 1 つの Python ファイル内で 動的 であり、「Apache Airflow のベストプラクティス」に従って記述されていることを前提としています。

タスクの実行は、同時にスケジュールされる数に依存し、同時に開始するように設定された DAG 実行の数が、このトピックで説明されているようにmax_dagruns_per_loop_to_schedule、デフォルトの とワーカーのサイズと数を超えないことを前提としています。

celery.worker_autoscale を使用して、作業者 1 人あたりのタスク数を増やすことができます。詳細については、「」を参照してください高パフォーマンスのユースケースの例。

Apache Airflow スケジューラ

以下のセクションでは、Amazon MWAA で使用できる Apache Airflow スケジューラーオプションと、スケジューラーの数がトリガーの数にどのように影響するかについて説明します。

Apache Airflow では、トリガーを使用して指定された特定の条件が満たされるまで延期するタスクがトリガーによって管理されます。Amazon MWAA では、トリガーは同じ Fargate タスクでスケジューラーと並行して実行されます。スケジューラーの数を増やすと、それに応じて使用可能なトリガーの数も増え、遅延されたタスクを環境がどのように管理するかが最適化されます。これにより、タスクを効率的に処理できるようになり、条件が満たされた時点でタスクを迅速に実行するようにスケジューリングできます。