Amazon MWAA のコンテナ、キュー、およびデータベースメトリクス - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA のコンテナ、キュー、およびデータベースメトリクス

Apache Airflow のメトリクスに加え、Amazon Managed Workflows for Apache Airflow 環境の基盤となるコンポーネントは、CloudWatch を使ってモニタリングすることができます。CloudWatch は、raw データを収集し、読み取り可能なほぼリアルタイムのメトリクスに加工することができます。これらの環境メトリクスを使用すると、主要なパフォーマンス指標をより詳細に可視化できるため、環境のサイズを適切に設定し、ワークフローに関する問題をデバッグできます。これらのメトリクスは、Amazon MWAA でサポートされているすべての Apache Airflow バージョンに適用されます。

Amazon MWAA は、各 Amazon Elastic Container Service (Amazon ECS) コンテナと Amazon Aurora PostgreSQL インスタンスの CPU とメモリの使用率、メッセージの数と最も古いメッセージの経過時間に関する Amazon Simple Queue Service (Amazon SQS) メトリクス、データベース接続、ディスクキューの深さ、書き込みオペレーション、レイテンシー、スループットに関する Amazon Relational Database Service (Amazon RDS) のメトリクス、および Amazon RDS Proxy メトリクスを提供します。これらのメトリクスには、ベースワーカー、追加のワーカー、スケジューラ、ウェブサーバーの数も含まれます。

これらの統計は 15 か月間保持されるため、履歴情報にアクセスして、スケジュールが失敗する理由をより的確に把握し、根本的な問題のトラブルシューティングを行うことができます。また、特定のしきい値をモニタリングするアラームを設定し、それらのしきい値が満たされたときに通知を送信したりアクションを実行したりすることもできます。詳細については、「Amazon CloudWatch ユーザーガイド」を参照してください。

用語

名前空間

名前空間は、 AWS サービスの CloudWatch メトリクスのコンテナです。Amazon MWAA の名前空間は AWS/MWAA です。

CloudWatch メトリクス

CloudWatch メトリクスは、CloudWatch に特異的な時系列のデータポイントのセットを表します。

ディメンション

ディメンションは、メトリクスのアイデンティティの一部である名前と値のペアです。

単位

1 つの統計には、測定単位があります。Amazon MWAA の場合、単位にはカウントが含まれます。

ディメンション

このセクションでは、CloudWatch の Amazon MWAA メトリクスの CloudWatch ディメンショングループについて説明します。

ディメンション 説明

クラスター

Amazon MWAA 環境が Apache Airflow コンポーネントの実行に使用する、少なくとも 3 つの Amazon ECS コンテナのメトリクス (スケジューラー、ワーカー、ウェブサーバー)。

キュー

スケジューラーをワーカーから切り離す Amazon SQS キューのメトリクス。ワーカーがメッセージを読むと、そのメッセージは処理中と見なされ、他のワーカーは使用できません。12 時間の可視性タイムアウト前に削除されない場合、他のワーカーはメッセージを読み取ることができます。

[Database] (データベース)

Amazon MWAA が使用する Aurora クラスターのメトリクス。これには、プライマリデータベースインスタンスと読み取りオペレーションをサポートするリードレプリカのメトリクスが含まれます。Amazon MWAA は READER インスタンスと WRITER インスタンスの両方のデータベースメトリクスを公開します。

CloudWatch コンソールのメトリクスにアクセスする

このセクションでは、CloudWatch で Amazon MWAA メトリクスにアクセスする方法について説明します。

ディメンションのパフォーマンスメトリクスにアクセスするには
  1. CloudWatch コンソールで [メトリクス] ページを開きます。

  2. を選択します AWS リージョン。

  3. [AWS/MWAA] の名前空間を選択します。

  4. すべてのメトリクス タブで、ディメンションを選択します。たとえば、[クラスター]

  5. ディメンションの CloudWatch メトリクスを選択します。たとえば、NumSchedulers や CPUUtilization などです。次に、[すべての検索結果をグラフ化] を選択します。

  6. グラフ化されたメトリクスタブを選択して、パフォーマンスメトリクスにアクセスします。

メトリクスのリスト

次のテーブルは、Amazon MWAA のクラスター、キュー、データベースサービスのメトリクスを一覧表示されます。Amazon ECS、Amazon SQS、または Amazon RDS から直接出力されるメトリクスの説明にアクセスするには、それぞれのドキュメントリンクを選択します。

クラスターメトリクス

以下のメトリクスは、各スケジューラー、ベースワーカー、追加ワーカー、ウェブサーバーに適用されます。各クラスターメトリクスの詳細と説明については、「Amazon ECS デベロッパーガイド」の「利用可能なメトリクスとディメンション」を参照してください。

名前空間 メトリクス Unit

AWS/MWAA

CPUUtilization

割合 (%)

AWS/MWAA

MemoryUtilization

割合 (%)

追加のワーカーコンテナとウェブサーバーコンテナの数の評価

次の手順で説明するように、クラスターディメンションで提供されるコンポーネントメトリクスを使用して、特定の時点で環境が使用している追加のワーカーまたはウェブサーバーの数を評価できます。これは、[CPUUtilization] または [MemoryUtilization] メトリクスのいずれかをグラフ化し、統計タイプを [サンプル数] に設定して、行うことができます。結果の値は、AdditionalWorker コンポーネントの RUNNING タスク総数です。環境が使用する追加のワーカーインスタンスの数を理解することは、環境のスケーリング方法を判断するのに役立ち、 を使用して追加のワーカーの数を最適化できます。

Workers
を使用して追加のワーカーの数を評価するには AWS Management Console
  1. [AWS/MWAA] の名前空間を選択します。

  2. [すべてのメトリクス] タブで、[クラスター] ディメンションを選択します。

  3. クラスターディメンションの AdditionalWorker で、CPUUtilization または MemoryUtilization メトリクスを選択します。

  4. [グラフ化したメトリクス] タブで、[期間][1 分] に、[統計][サンプル数] に設定します。

webservers
を使用して追加のウェブサーバーの数を評価するには AWS Management Console
  1. [AWS/MWAA] の名前空間を選択します。

  2. [すべてのメトリクス] タブで、[クラスター] ディメンションを選択します。

  3. クラスターディメンションの AdditionalWebservers で、CPUUtilization または MemoryUtilization メトリクスを選択します。

  4. [グラフ化したメトリクス] タブで、[期間][1 分] に、[統計][サンプル数] に設定します。

詳細については、「Amazon Elastic Container Service デベロッパーガイド」の「サービスRUNNINGタスク数」を参照してください。

データベースメトリクス

以下のメトリクスは、Amazon MWAA 環境に関連付けられた各データベースインスタンスに適用されます。

名前空間 メトリクス Unit

AWS/MWAA

CPUUtilization

割合 (%)

AWS/MWAA

DatabaseConnections

カウント

AWS/MWAA

DiskQueueDepth

カウント

AWS/MWAA

FreeableMemory

バイト

AWS/MWAA

VolumeWriteIOPS

5 分あたりのカウント

AWS/MWAA

WriteIOPS

1 秒あたりのカウント数

AWS/MWAA

WriteLatency

[秒]

AWS/MWAA

WriteThroughput

1 秒あたりのバイト数

キューメトリクス

以下のキューメトリクスの単位と説明の詳細については、Amazon Simple Queue Service デベロッパーガイドの「Amazon Amazon SQS で利用可能な CloudWatch メトリクス」を参照してください。

名前空間 メトリクス Unit

AWS/MWAA

ApproximateAgeOfOldestTask

[秒]

AWS/MWAA

RunningTasks

カウント

AWS/MWAA

QueuedTasks

カウント

Application Load Balancer のメトリクス

Application Load Balancer のメトリクスは、環境で実行されているウェブサーバーに適用されます。Amazon MWAA は、これらのメトリクスを使用して、トラフィック量に基づいてウェブサーバーをスケールします。以下のロードバランサーメトリクスの単位と説明の詳細については、Application Load Balancer ユーザーガイド」の「Application Load Balancer の CloudWatch メトリクス」を参照してください。

名前空間 メトリクス Unit

AWS/MWAA

ActiveConnectionCount

カウント