Express ブローカーの DEFAULT レベルモニタリング Express ブローカーの PER_BROKER レベルモニタリング Express ブローカーの PER_TOPIC_PER_PARTITION レベルモニタリング Express ブローカーの PER_TOPIC_PER_BROKER レベルモニタリング

Amazon MSK メトリクスによる CloudWatch を使用した Express ブローカーのモニタリング

Amazon MSK は CloudWatch と連携するため、MSK Express ブローカーの CloudWatch メトリクスを収集、表示、分析できます。MSK プロビジョニングされたクラスターに対して設定したメトリクスは、1分間隔で自動的に収集され、CloudWatch に送信されます。MSK プロビジョニング済みクラスターの監視レベルを設定できます。DEFAULT、PER_BROKER、PER_TOPIC_PER_BROKERまたは PER_TOPIC_PER_PARTITION。次のセクションの表は、各モニタリングレベルから利用開始可能なメトリクスを示しています。

DEFAULT レベルのメトリクスは無料です。他のメトリクスの料金については、Amazon CloudWatch の料金ページで説明されています。

Express ブローカーの `DEFAULT` レベルモニタリング

次の表に記載されているメトリクスは、DEFAULTモニタリングレベルにおいて無料で利用可能です。

名前	表示可能なタイミング	ディメンション	説明
ActiveControllerCount	クラスターが ACTIVE 状態になった後。	クラスター名	クラスターごとに 1 つのコントローラーだけをアクティブにする必要があります。
BytesInPerSec	トピックを作成した後。	クラスター名、ブローカー ID、トピック	クライアントから受信した 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。
BytesOutPerSec	トピックを作成した後。	クラスター名、ブローカー ID、トピック	クライアントに送信された 1 秒あたりのバイト数。このメトリクスは、ブローカーごとおよびトピックごとに利用できます。
ClientConnectionCount	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID、クライアント認証	アクティブな認証済みクライアント接続の数。
ConnectionCount	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	アクティブな認証済み接続、未認証接続、およびブローカー間接続の数。
CpuIdle	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	CPU アイドル時間の割合。
CpuSystem	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	カーネルスペースの CPU の割合。
CpuUser	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ユーザースペースの CPU の割合。
GlobalPartitionCount	クラスターが ACTIVE 状態になった後。	クラスター名	クラスター内のすべてのトピック全体のパーティション数 (レプリカを除く)。`GlobalPartitionCount`レプリカを含まないため、`GlobalPartitionCount`トピックのレプリケーション係数がより大きい場合`1`と比較して、`PartitionCount`値の合計がより高くなる可能性があります。
GlobalTopicCount	クラスターが ACTIVE 状態になった後。	クラスター名	クラスター内のすべてのブローカーのトピックの合計数。
EstimatedMaxTimeLag	コンシューマーグループがトピックから消費した後。	コンシューマーグループ、トピック	`MaxOffsetLag` を排出するための推定時間 (秒単位)。
LeaderCount	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	レプリカを含まない、ブローカーごとのパーティションのリーダーの総数。
MaxOffsetLag	コンシューマーグループがトピックから消費した後。	コンシューマーグループ、トピック	トピック内のすべてのパーティションにわたる最大オフセットラグ。
MemoryBuffered	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーのバッファーメモリーのサイズ (バイト単位)。
MemoryCached	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーのキャッシュメモリーのサイズ (バイト単位)。
MemoryFree	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーが使用可能な空きメモリのサイズ (バイト単位)。
MemoryUsed	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーに使用されているメモリのサイズ (バイト単位)。
MessagesInPerSec	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーの 1 秒あたりの受信メッセージ数。
NetworkRxDropped	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ドロップされた受信パッケージの数。
NetworkRxErrors	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーのネットワーク受信エラーの数。
NetworkRxPackets	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーによって受信されたパケットの数。
NetworkTxDropped	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ドロップされた送信パッケージの数。
NetworkTxErrors	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーのネットワーク送信エラーの数。
NetworkTxPackets	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーによって送信されたパケットの数。
PartitionCount	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	レプリカを含む、ブローカーごとのトピックパーティションの総数。
ProduceTotalTimeMsMean	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ミリ秒単位の平均生成時間。
RequestBytesMean	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーのリクエストバイトの平均数。
RequestTime	リクエストスロットリングが適用された後。	クラスター名、ブローカー ID	ブローカーネットワークおよび I/O スレッドでリクエストを処理するのに費やされた平均時間 (ミリ秒)。
ストレージ使用量	クラスターが ACTIVE 状態になった後。	クラスター名	クラスタ内のすべてのパーティションで使用されているストレージの合計 (レプリカを除く)。
SumOffsetLag	コンシューマーグループがトピックから消費した後。	コンシューマーグループ、トピック	トピックのすべてのパーティションの集計されたオフセットラグ。
UserPartitionExists	クラスターが ACTIVE 状態になった後。	クラスター名、ブローカー ID	ブローカーにユーザー所有のパーティションが存在することを示すブールメトリクス。値 1 は、ブローカーにパーティションが存在することを示します。

Express ブローカーの `PER_BROKER` レベルモニタリング

モニタリングレベルを PER_BROKER に設定すると、すべての DEFAULT レベルメトリクスに加えて、次の表で説明するメトリクスが表示されます。次の表に記載されているメトリクスは有料となりますが、 DEFAULT レベルメトリクスは引き続き無料です。この表のメトリクスには、クラスター名、ブローカー ID のディメンションがあります。

名前	表示可能なタイミング	説明
ConnectionCloseRate	クラスターが ACTIVE 状態になった後。	リスナーごとの 1 秒あたりに閉じられた接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。
ConnectionCreationRate	クラスターが ACTIVE 状態になった後。	リスナーごとに 1 秒あたりに確立された新しい接続の数。この数はリスナーごとに集計され、クライアントリスナー用にフィルタリングされます。
FetchConsumerLocalTimeMsMean	プロデューサー/コンシューマーがいる後。	コンシューマーのリクエストがリーダーで処理される平均時間 (ミリ秒)。
FetchConsumerRequestQueueTimeMsMean	プロデューサー/コンシューマーがいる後。	コンシューマーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。
FetchConsumerResponseQueueTimeMsMean	プロデューサー/コンシューマーがいる後。	コンシューマーのリクエストが応答キューで待機する平均時間 (ミリ秒)。
FetchConsumerResponseSendTimeMsMean	プロデューサー/コンシューマーがいる後。	コンシューマーが応答を送信するための平均時間 (ミリ秒)。
FetchConsumerTotalTimeMsMean	プロデューサー/コンシューマーがいる後。	コンシューマーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。
FetchFollowerLocalTimeMsMean	プロデューサー/コンシューマーがいる後。	リーダーでフォロワーのリクエストが処理される平均時間 (ミリ秒)。
FetchFollowerRequestQueueTimeMsMean	プロデューサー/コンシューマーがいる後。	フォロワーのリクエストがリクエストキューで待機する平均時間 (ミリ秒)。
FetchFollowerResponseQueueTimeMsMean	プロデューサー/コンシューマーがいる後。	フォロワーの要求が応答キューで待機する平均時間 (ミリ秒)。
FetchFollowerResponseSendTimeMsMean	プロデューサー/コンシューマーがいる後。	フォロワーが応答を送信するまでの平均時間 (ミリ秒)。
FetchFollowerTotalTimeMsMean	プロデューサー/コンシューマーがいる後。	フォロワーがブローカーからデータを取得するのに費やす平均合計時間 (ミリ秒)。
FetchThrottleByteRate	帯域幅スロットリングが適用された後。	1 秒あたりのスロットルバイト数。
FetchThrottleQueueSize	帯域幅スロットリングが適用された後。	スロットルキュー内のメッセージ数。
FetchThrottleTime	帯域幅スロットリングが適用された後。	フェッチスロットルの平均時間 (ミリ秒単位)。
IAMNumberOfConnectionRequests	クラスターが ACTIVE 状態になった後。	1 秒あたりの IAM 認証リクエスト数。
IAMTooManyConnections	クラスターが ACTIVE 状態になった後。	100 `0` を超える接続試行回数は、接続回数が制限内であることを意味します。すると `>0` 、スロットル制限を超過している場合、接続数を減らす必要があります。
NetworkProcessorAvgIdlePercent	クラスターが ACTIVE 状態になった後。	ネットワークプロセッサがアイドル状態の平均時間の割合。
ProduceLocalTimeMsMean	クラスターが ACTIVE 状態になった後。	リーダーでリクエストが処理される平均時間 (ミリ秒単位)。
ProduceRequestQueueTimeMsMean	クラスターが ACTIVE 状態になった後。	リクエストメッセージがキューに費やした平均時間 (ミリ秒)。
ProduceResponseQueueTimeMsMean	クラスターが ACTIVE 状態になった後。	応答メッセージがキューに費やした平均時間 (ミリ秒)。
ProduceResponseSendTimeMsMean	クラスターが ACTIVE 状態になった後。	応答メッセージの送信に費やされた平均時間 (ミリ秒)。
ProduceThrottleByteRate	帯域幅スロットリングが適用された後。	1 秒あたりのスロットルバイト数。
ProduceThrottleQueueSize	帯域幅スロットリングが適用された後。	スロットルキュー内のメッセージ数。
ProduceThrottleTime	帯域幅スロットリングが適用された後。	平均生成スロットル時間 (ミリ秒単位)。
ProduceTotalTimeMsMean	クラスターが ACTIVE 状態になった後。	ミリ秒単位の平均生成時間。
ReplicationBytesInPerSec	トピックを作成した後。	他のブローカーから受信した 1 秒あたりのバイト数。
ReplicationBytesOutPerSec	トピックを作成した後。	他のブローカーに送信された 1 秒あたりのバイト数。
RequestExemptFromThrottleTime	リクエストスロットリングが適用された後。	ブローカーネットワークおよび I/O スレッドで、スロットリングから除外されたリクエストを処理するのに費やされた平均時間 (ミリ秒)。
RequestHandlerAvgIdlePercent	クラスターが ACTIVE 状態になった後。	リクエストハンドラーのスレッドがアイドル状態の平均時間の割合。
RequestThrottleQueueSize	リクエストスロットリングが適用された後。	スロットルキュー内のメッセージ数。
RequestThrottleTime	リクエストスロットリングが適用された後。	リクエストスロットルの平均時間 (ミリ秒単位)。
TcpConnections	クラスターが ACTIVE 状態になった後。	SYN フラグが設定された着信および発信 TCP セグメントの数を表示します。
TrafficBytes	クラスターが ACTIVE 状態になった後。	クライアント (プロデューサーとコンシューマー) とブローカー間のネットワークトラフィックを全体のバイト数で表示します。ブローカー間のトラフィックは報告されません。

Express ブローカーの `PER_TOPIC_PER_PARTITION` レベルモニタリング

モニタリングレベルを PER_TOPIC_PER_PARTITION に設定すると、次の表に記載されているメトリクスに加え、 PER_TOPIC_PER_BROKER、 PER_BROKER、および DEFAULTレベルのすべてのメトリクスを入手できます。DEFAULT レベルメトリクスのみが無料でご利用いただけます。この表のメトリクスには、コンシューマーグループ、トピック、パーティションのディメンションがあります。

名前	表示可能なタイミング	説明
EstimatedTimeLag	コンシューマーグループがトピックから消費した後。	パーティションオフセットラグを排出するための推定時間 (秒単位)。
OffsetLag	コンシューマーグループがトピックから消費した後。	オフセット数のパーティションレベルのコンシューマーラグ。

Express ブローカーの `PER_TOPIC_PER_BROKER` レベルモニタリング

モニタリングレベルを PER_TOPIC_PER_BROKER に設定すると、PER_BROKER および DEFAULT レベルのすべてのメトリクスに加え、次の表に記載されているメトリクスを入手できます。DEFAULT レベルメトリクスのみが無料でご利用いただけます。この表のメトリクスには、クラスター名、ブローカー ID、トピックのディメンションがあります。

重要

次の表のメトリクスは、値が初めてゼロでない場合にのみ表示されます。例えば、BytesInPerSec を表示するには、まず 1 つ以上のプロデューサーが最初にクラスターのデータを送信する必要があります。

名前	表示可能なタイミング	説明
MessagesInPerSec	トピックを作成した後。	1 秒あたりに受信したメッセージ数。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

MSK プロビジョンドクラスターの状態

Prometheus でモニタリングする