Amazon MWAA 環境を更新する - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA 環境を更新する

注記

Amazon MWAA の正常なアップデートは、カナダ西部 (カルガリー) およびアジア太平洋 (マレーシア) リージョンではまだサポートされていません。

Amazon MWAA 環境の更新では、最新の変更とセキュリティパッチが適用されます。既存の設定を編集し、Apache Airflow バージョンをアップグレードすることもできます。このガイドでは、Amazon MWAA 環境を更新する手順について説明します。

開始する前に

  • 環境に指定する VPC ネットワーク の内容は、環境作成後に変更することはできません。

  • すべてのパブリックアクセスをブロック し、バケットバージョニング 管理を有効にするには、Amazon S3 バケットを設定する必要があります。

  • Amazon MWAA を使用する権限 を持ち、AWS Identity and Access Management HIU(IAM) で IAM ロールを作成するアクセス許可を持つ AWS アカウント が必要です。Apache Airflow ウェブサーバー の プライベートネットワーク アクセスモードを選択して、Amazon VPC 内の Apache Airflow アクセスを制限する場合は、Amazon VPC エンドポイントを作成するために IAM のアクセス許可が必要になります。

  • 正常な環境更新を有効にするには、Apache Airflow バージョン 2.4.3 以上にアップグレードする必要があります。Airflow バージョンをアップグレードするには、Apache Airflow バージョンの変更 を参照してください。

ワーカー置換戦略

ワーカー置換戦略を選択して、環境の更新中に Amazon MWAA がアクティブなワーカーを処理する方法を制御できます。次のいずれかのオプションを選択できます。

強制アップデート

強制アップデートはデフォルトのワーカー置換戦略です。強制アップデートでは、すべてのアクティブなワーカーがすぐに停止し、アップデート中に実行中のタスクが失敗します。

正常なアップデート

正常なアップデートにより、ワーカーはシャットダウンする前に最大 12 時間タスクを実行し続けることができます。12 時間以内に終了する場合に限り、アップデートの中断によるタスクの失敗を防ぎます。新しいタスクはアップデートされたワーカーにルーティングされます。

既存の環境で正常なアップデートを有効にするには、強制アップデート を 1 回完了し、その環境が Apache Airflow バージョン 2.4.3 以降であることを確認する必要があります。

注記

環境のステータスが のときに更新を実行すると MAINTENANCE、進行中の環境更新のワーカー置換戦略は GRACEFUL から FORCED に切り替わります。アップデートは、メンテナンスが完了した後に実行されます。

環境リソースをアップデートする

Amazon MWAA 環境のアップデートでは、デフォルトで既存の環境設定が使用されます。現在の設定を変更せずに環境をアップデートするには:

  1. Amazon MWAA コンソールで、環境ページ を開きます。

  2. 環境 リストで、アップグレードしたい環境を選択します。

  3. 環境ページで 編集 を選択して環境を編集します。

  4. レビューと保存 ページが表示されるまで、次へ を選択します。

  5. レビューと保存 ページで変更内容を確認し、保存 を選択します。

環境を更新する

以下のセクションでは、Amazon MWAA 環境の更新手順について説明します。

ステップ1:詳細の指定

環境の詳細を指定します
  1. Amazon MWAA コンソールで、環境ページ を開きます。

  2. 環境 リストで、アップグレードしたい環境を選択します。

  3. 環境ページで 編集 を選択して環境を編集します。

  4. [環境の詳細] セクションの [Airflow バージョン] で、環境をアップグレードしたい新しい Apache Airflow バージョン番号をドロップダウンリストから選択します。

    注記

    アップグレードする前に、DAG やその他のワークフローリソースが新しい Apache Airflow バージョンと互換性があることを確認してください。詳細については、Apache Airflow バージョンの変更 を参照してください。

  5. Amazon S3 の DAG コード で以下を指定します。

    1. S3 バケットBrowse S3を選択して Amazon S3 バケットを選択するか、Amazon S3 URI を入力します。

    2. DAG フォルダーBrowse S3 を選択し、Amazon S3 バケット内の dags フォルダを選択するか、Amazon S3 URI を入力します。

    3. プラグインファイル - オプションBrowse S3 を選択し、Amazon S3 バケット上の plugins.zip ファイルを選択するか、Amazon S3 の URI を入力します。

    4. 要件ファイル - オプション.。Browse S3 を選択し、Amazon S3 バケット上の requirements.txt ファイルを選択するか、Amazon S3 の URI を入力します。

    5. スタートアップスクリプトファイル - オプション参照S3 を選択し、Amazon S3 バケット上のスクリプトファイルを選択するか、Amazon S3 URI を入力します。

  6. 次へ を選択します。

ステップ2:詳細設定の設定

詳細設定を設定するには
  1. ウェブサーバーアクセスで、お好みの Apache Airflow アクセスモード を選択します。

    1. プライベートネットワーク。これは、Apache Airflow UI へのアクセスを、あなたの環境の IAM ポリシーにアクセスを許可されたあなたの Amazon VPC 内 のユーザーに制限します このステップには Amazon VPC エンドポイントを作成する権限が必要です。

      注記

      Apache Airflow UI にアクセスできるのは企業ネットワークのみで、ウェブサーバ要件をインストールするためにパブリックリポジトリにアクセスする必要がない場合は、プライベートネットワーク オプションを選択します。このアクセスモードオプションを選択する場合は、Amazon VPC 内の Apache Airflow ウェブサーバーにアクセスするメカニズムを作成する必要があります。詳細については、Apache Airflow ウェブサーバーの VPC エンドポイントへのアクセス (プライベートネットワークアクセス) を参照してください。

    2. パブリックネットワーク。これにより、環境の IAM ポリシー へのアクセスを許可されたユーザーは、インターネット経由で Apache Airflow UI にアクセスできます。

  2. セキュリティグループ で、Amazon VPC を保護するために使用するセキュリティグループを選択します。

    1. デフォルトでは、Amazon MWAA は Amazon VPC にセキュリティグループを作成し、新しいセキュリティグループの作成 で特定のインバウンドルールとアウトバウンドルールを設定します。

    2. オプション新しいセキュリティグループの作成 のチェックボックスをオフにして、最大 5 つのセキュリティグループを選択します。

      注記

      既存の Amazon VPC セキュリティグループでは、ネットワークトラフィックを許可する特定のインバウンドルールとアウトバウンドルールを設定する必要があります。詳細については、Amazon MWAA の VPC のセキュリティ を参照してください。

  3. 環境クラス で、環境クラス を選択します。

    ワークロードをサポートするために必要な最小サイズを選択することをお勧めします。環境クラスは、随時変更できます。

  4. 最大ワーカー数 は、環境内で実行する Apache Airflow ワーカーの最大数を指定します。

    詳細については、高パフォーマンスのユースケースの例 を参照してください。

  5. 最大ウェブサーバー数最小ウェブサーバー数 を指定して、Amazon MWAA が環境内の Apache Airflow ウェブサーバーをスケールする方法を設定します。

    ウェブサーバーの自動スケーリングの詳細については、Amazon MWAA ウェブサーバーの自動スケーリングの設定 を参照してください。

  6. 暗号化 で、データ暗号化オプションを選択します。

    1. デフォルトでは、Amazon MWAA AWS が所有キーを使用してデータを暗号化します。

    2. オプション暗号化設定のカスタマイズ (アドバンスド) を選択して別の AWS KMS キーを選択します。このステップで カスタマーマネージドキー の指定を選択した場合は、AWS KMS キー ID または ARN を指定する必要があります。Amazon MWAA は AWS KMS エイリアスとマルチゾーンキーをサポートしていません。Amazon S3 バケットでサーバー側の暗号化用に Amazon S3 キーを指定した場合、Amazon MWAA 環境にも同じキーを指定する必要があります。 

      注記

      Amazon MWAA コンソールでキーを選択するには、そのキーに対するアクセス権限が必要です。また、キーポリシーの添付 で説明されているポリシーを追加して Amazon MWAA にキーを使用する権限を付与する必要があります。

  7. 推奨モニタリング で、Apache Airflow ログを CloudWatch Logs に送信するための Airflow ログ記録設定 のログカテゴリを 1 つ以上選択します。

    1. Airflow タスクログログレベル で CloudWatch ログに送信する Apache Airflow タスクログのタイプを選択します。

    2. Airflow ウェブサーバーのログログレベル で CloudWatch ログに送信する Apache Airflow タスクログのタイプを選択します。

    3. Airflow スケジューラーログログレベル で CloudWatch Logs に送信する Apache Airflow スケジューラログのタイプを選択します。

    4. Airflow ワーカーログログレベルで CloudWatch Logs に送信する Apache Airflow ワーカーログのタイプを選択します。

    5. Airflow DAG 処理ログログレベル で CloudWatch Logs に送信する Apache Airflow DAG 処理ログのタイプを選択します。

  8. オプションエアフロー設定オプションで、カスタム設定オプションの追加 を選択します。

    Apache Airflow バージョンの Apache Airflow 構成オプション の推奨ドロップダウンリストから選択するか、カスタム設定オプションを指定できます。例えば、core.default_task_retries : 3 です。

  9. アクセス許可 で、実行ロールを選択する:

    1. デフォルトでは、Amazon MWAA は 新しいロールの作成実行ロールを作成します。このオプションを使用するには、IAM ロールを作成する権限が必要です。

    2. オプションロール ARN を入力 を選択して、既存の実行ロールの Amazon リソースネーム (ARN) を入力します。

  10. 更新の仕様 で、ワーカー置換戦略 を選択して、更新中のアクティブなワーカーの処理方法を制御します。

  11. 次へ を選択します。

ステップ 3: 確認と更新

環境の概要の表示
  • 環境の概要を確認し、保存 を選択します。

    注記

    強制更新を使用して環境を更新するには、約 20 ~ 30 分かかります。環境の正常なアップデートは、進行中のタスクが完了するまで待機するため、完了までに最大 12 時間かかる場合があります。