Amazon MWAA のコンテナ、キュー、およびデータベースメトリクス - Amazon Managed Workflows for Apache Airflow

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon MWAA のコンテナ、キュー、およびデータベースメトリクス

Apache Airflow のメトリクスに加え、Amazon Managed Workflows for Apache Airflow 環境の基盤となるコンポーネントは、CloudWatch を使ってモニタリングすることができます。CloudWatch は、raw データを収集し、読み取り可能なほぼリアルタイムのメトリクスに加工することができます。これらの環境メトリクスを使用すると、主要業績評価指標の可視性が高まり、環境の適切な規模を決定し、ワークフローの問題をデバッグするのに役立ちます。これらのメトリクスは、Amazon MWAA でサポートされているすべての Apache Airflow バージョンに適用されます。

Amazon MWAA は、各 Amazon Elastic Container Service (Amazon ECS) コンテナと Amazon Aurora PostgreSQL インスタンスの CPU とメモリの使用率、メッセージの数と最も古いメッセージの経過時間に関する Amazon Simple Queue Service (Amazon SQS) メトリクス、データベース接続、ディスクキューの深さ、書き込みオペレーション、レイテンシー、スループットに関する Amazon Relational Database Service (Amazon RDS) のメトリクス、および Amazon RDS Proxy メトリクスを提供します。これらのメトリクスには、ベースワーカー、追加ワーカー、スケジューラー、およびウェブサーバーの数も含まれます。

これらの統計は 15 か月間保持されるため、履歴情報にアクセスして、スケジュールが失敗する理由をより的確に把握し、根本的な問題のトラブルシューティングを行うことができます。また、特定のしきい値をモニタリングするアラームを設定し、しきい値に達したときに通知を送信したりアクションを実行したりできます。詳細については、Amazon CloudWatch ユーザーガイド を参照してください。

用語

名前空間

名前空間は、 AWS サービスの CloudWatch メトリクスのコンテナです。Amazon MWAA の名前空間は AWS/MWAA です。

CloudWatch メトリクス

CloudWatch メトリクスは、CloudWatch に特異的な時系列のデータポイントのセットを表します。

ディメンション

ディメンションは、メトリクスのアイデンティティの一部である名前と値のペアです。

Unit

1 つの統計には、測定単位があります。Amazon MWAA の場合、単位には カウント が含まれます。

ディメンション

このセクションでは、CloudWatch の Amazon MWAA メトリクスの CloudWatch ディメンショングループについて説明します。

ディメンション 説明

クラスター

Amazon MWAA 環境が Apache Airflow コンポーネントの実行に使用する、少なくとも 3 つの Amazon ECS コンテナのメトリクス (スケジューラー、ワーカー、ウェブサーバー)。

[キュー]

スケジューラーをワーカーから切り離す Amazon SQS キューのメトリクス。ワーカーがメッセージを読むと、そのメッセージは処理中と見なされ、他のワーカーは使用できません。12 時間の可視性タイムアウトまでにメッセージを削除しないと、他のワーカーがメッセージを読むことができるようになります。

[Database] (データベース)

Amazon MWAA が使用する Aurora クラスターのメトリクス。これには、プライマリデータベースインスタンスと読み取りオペレーションをサポートするリードレプリカのメトリクスが含まれます。Amazon MWAA は READER インスタンスと WRITER インスタンスの両方のデータベースメトリクスを公開します。

CloudWatch コンソールのメトリクスにアクセスする

このセクションでは、CloudWatch で Amazon MWAA メトリクスにアクセスする方法について説明します。

ディメンションのパフォーマンスメトリクスにアクセスするには
  1. CloudWatch コンソールで メトリクスのページ を開きます。

  2. を選択します AWS リージョン。

  3. AWS/MWAA の名前空間を選択します。

  4. すべてのメトリクス タブで、ディメンションを選択します。例えば、クラスター です。

  5. ディメンションの CloudWatch メトリクスを選択します。例えば、NumSchedulersCPUUtilization などです。次に、すべての検索結果をグラフ化 を選択します。

  6. パフォーマンスメトリックにアクセスするには、グラフ化されたメトリクス タブを選択します。

メトリクスのリスト

次のテーブルは、Amazon MWAA のクラスター、キュー、データベースサービスのメトリクスを一覧表示されます。Amazon ECS、Amazon SQS、または Amazon RDS から直接生成されたメトリクスの説明にアクセスするには、それぞれのドキュメントリンクを選択してください。

クラスターメトリクス

以下のメトリクスは、各スケジューラー、ベースワーカー、追加ワーカー、ウェブサーバーに適用されます。各クラスターメトリクスの詳細と説明については、Amazon ECS ディベロッパーガイド利用可能なメトリクスとディメンション を参照してください。

名前空間 メトリクス 単位

AWS/MWAA

CPUUtilization

割合 (%)

AWS/MWAA

MemoryUtilization

割合 (%)

追加のワーカーコンテナとウェブサーバーコンテナの数の評価

以下の手順で説明するように、クラスター ディメンションで提供されるコンポーネントメトリクスを用いて、特定の時点で環境で使用している追加のワーカーまたはウェブサーバーの数を評価できます。これは、CPUUtilization または MemoryUtilization メトリクスのいずれかをグラフ化し、統計タイプを サンプル数 に設定して、行うことができます。結果の値は、AdditionalWorker コンポーネントの RUNNING タスク総数です。環境で使用されている追加のワーカーインスタンスの数を把握しておくと、環境がどのようにスケーリングされるかを判断し、追加ワーカーの数を最適化するのに役立ちます。

Workers
を使用して追加のワーカーの数を評価するには AWS マネジメントコンソール
  1. AWS/MWAA の名前空間を選択します。

  2. すべてのメトリクス タブで、クラスター ディメンションを選択します。

  3. クラスター ディメンションの AdditionalWorker では、CPUUtilization またはMemoryUtilization メトリクスのいずれかを選択します。

  4. グラフ化したメトリクス タブで、期間1 分 に、統計サンプル数 に設定します。

webservers
を使用して追加のウェブサーバーの数を評価するには AWS マネジメントコンソール
  1. AWS/MWAA の名前空間を選択します。

  2. すべてのメトリクス タブで、クラスター ディメンションを選択します。

  3. クラスター ディメンションの AdditionalWebservers では、CPUUtilization または MemoryUtilization メトリクスのいずれかを選択します。

  4. グラフ化したメトリクス タブで、期間1 分 に、統計サンプル数 に設定します。

詳細については、Amazon Elastic Container Service デベロッパーガイドサービスの RUNNING タスク数 を参照してください。

データベースメトリクス

以下のメトリクスは、Amazon MWAA 環境に関連付けられた各データベースインスタンスに適用されます。

名前空間 メトリクス 単位

AWS/MWAA

CPUUtilization

割合 (%)

AWS/MWAA

DatabaseConnections

カウント

AWS/MWAA

DiskQueueDepth

カウント

AWS/MWAA

FreeableMemory

バイト

AWS/MWAA

VolumeWriteIOPS

5 分あたりのカウント

AWS/MWAA

WriteIOPS

1 秒あたりのカウント数

AWS/MWAA

WriteLatency

AWS/MWAA

WriteThroughput

1 秒あたりのバイト数

キューメトリクス

以下のキューメトリクスの単位と説明に関する詳細は、Amazon Simple Queue Service デベロッパーガイドAmazon SQS で使用できる CloudWatch メトリクス を参照してください。

名前空間 メトリクス 単位

AWS/MWAA

ApproximateAgeOfOldestTask

AWS/MWAA

RunningTasks

カウント

AWS/MWAA

QueuedTasks

カウント

Application Load Balancer のメトリクス

Application Load Balancer のメトリクスは、環境で実行されているウェブサーバーに適用されます。Amazon MWAA は、これらのメトリクスを使用して、トラフィック量に基づいてウェブサーバーをスケールします。Load Balancer のメトリクスの詳細については、Application Load Balancer のユーザーガイドApplication Load Balancer の CloudWatch メトリクス を参照してください。

名前空間 メトリクス 単位

AWS/MWAA

ActiveConnectionCount

カウント