CloudWatch メトリクスを使用したパイプラインのモニタリング - Amazon CloudWatch
使用可能なメトリクスディメンションエラーのタイプ警告の種類メトリクスの表示アラームの作成CloudWatch パイプラインのメトリクスのベストプラクティス

CloudWatch メトリクスを使用したパイプラインのモニタリング

CloudWatch パイプラインは、AWS/Observability Admin 名前空間の Amazon CloudWatch にメトリクスを発行します。これらのメトリクスを使用して、パイプラインの状態、パフォーマンス、およびデータフローをモニタリングできます。

使用可能なメトリクス

以下の表は、CloudWatch パイプラインで使用できるメトリクスを示しています。

注記

パイプラインのメトリクスは、値がゼロ以外の場合にのみ出力されます。

コアメトリクス

メトリクス 説明 ディメンション Unit

PipelineBytesIn

パイプラインに送られるログレコードの量 (非圧縮、単位: バイト)

PipelineName

バイト

PipelineBytesInByDataSource

受信データの量 (ソース/種類別内訳)

PipelineName、DataSource、DataType

バイト

PipelineBytesOut

送信先にルーティングされるデータの量

PipelineName

バイト

PipelineBytesOutByDataSource

送信データの量 (ソース/種類別内訳)

PipelineName、DataSource、DataType

バイト

PipelineRecordsIn

パイプラインに送られるレコードの数

PipelineName

カウント

PipelineRecordsInByDataSource

受信レコードの数 (ソース/種類別内訳)

PipelineName、DataSource、DataType

カウント

PipelineRecordsOut

パイプラインから出力されるレコードの数

PipelineName

カウント

PipelineRecordsOutByDataSource

送信レコードの数 (ソース/種類別内訳)

PipelineName、DataSource、DataType

カウント

エラーと警告のメトリクス

メトリクス 説明 ディメンション Unit

PipelineErrors

パイプラインのエラーの総数

PipelineName

カウント

PipelineErrorsByErrorType

詳細なエラー数 (種類別)

PipelineName、ErrorSource、ErrorComponent、ErrorType

カウント

PipelineWarnings

発生した警告の数

PipelineName

カウント

PipelineWarningsByWarningType

詳細な警告 (種類別)

PipelineName、WarningSource、WarningComponent、WarningType

カウント

PipelineRecordsUnprocessed

処理できなかったレコードの数

PipelineName、DataSource、DataType

カウント

PipelineRecordsDropped

削除されたレコードの数 (サードパーティーソースのみ)

PipelineName、DataSource、DataType

カウント

ディメンション

CloudWatch パイプラインのメトリクスは、次のディメンションを使用します。

PipelineName

パイプラインの名前

DataSource

データのソース (AWS サービス名またはサードパーティーソース)

DataType

処理されるデータの種類

ErrorSource

エラーのオリジン (s3、aws.secrets、cloudwatch_logs)

ErrorComponent

エラーが発生したコンポーネント (ソース、シンク、拡張機能)

ErrorType

発生したエラーのタイプ

エラーのタイプ

以下のエラーのタイプは PipelineErrorsByErrorType で追跡されます。

ACCESS_DENIED

アクセス許可関連のエラー

ALL

パイプラインでのすべてのエラーの合計数

RESOURCE_NOT_FOUND

指定したリソースが存在しない

SOURCE_READ_FAILURE

ソースからの読み込みエラー

PARSE_FAILURE

データ解析エラー

PROCESSOR_ERRORS

処理操作の失敗

PAYLOAD_SIZE_EXCEEDED

データサイズの制限を超過している

警告の種類

パイプラインでは、次の種類の警告が発生する可能性があります。

THROTTLED

送信されるデータ量が既存のレート制限を超え、システムを保護して安定性を確保するために、一部のデータポイントまたはイベントが削除または遅延されることを示します。

メトリクスの表示

CloudWatch パイプラインのメトリクスは、次の方法で表示できます。

CloudWatch コンソールの使用

  1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

  2. ナビゲーションペインで [メトリクス] を選択します。

  3. [AWS/Observability Admin] 名前空間を選択します。

  4. 表示するメトリクスディメンションを選択します。

AWS CLI を使用する場合

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

アラームの作成

これらのメトリクスに基づいて CloudWatch アラームを作成できます。パイプラインエラーのアラームを作成する例を次に示します。

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

CloudWatch パイプラインのメトリクスのベストプラクティス

データフローのモニタリング

  • PipelineBytesIn と PipelineBytesOut を使用してデータ量を追跡します

  • PipelineRecordsIn と PipelineRecordsOut をモニタリングしてレコード数を追跡します

  • スループットパターンの予期しない変化に注意します

エラーと警告の追跡

  • PipelineErrors のアラームを作成して問題をすばやく検出します

  • PipelineErrorsByErrorType を使用して特定の問題を診断します

  • PipelineWarnings をモニタリングして潜在的な問題を早期に特定します

適切なしきい値の設定

  • 期待されるデータパターンに基づいてしきい値を設定します

  • データ量の通常の変動を考慮します

  • アラームしきい値を設定するときはピーク使用期間を考慮します