使用 CloudWatch 指標監控管道 - Amazon CloudWatch
可用的指標維度錯誤類型警告類型檢視 指標建立警示CloudWatch 管道指標的最佳實務

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 CloudWatch 指標監控管道

CloudWatch 管道會將指標發佈至 AWS/Observability Admin 命名空間中的 Amazon CloudWatch。您可以使用這些指標來監控管道的運作狀態、效能和資料流程。

可用的指標

下表列出 CloudWatch 管道的可用指標。

注意

只有在值為非零時才會發出管道指標。

核心指標

指標 Description 維度 單位

PipelineBytesIn

以未壓縮位元組進入管道的日誌記錄量

PipelineName

位元組

PipelineBytesInByDataSource

來源/類型明細的傳入資料量

PipelineName、DataSource、DataType

位元組

PipelineBytesOut

路由至目的地的資料量

PipelineName

位元組

PipelineBytesOutByDataSource

來源/類型明細的傳出資料量

PipelineName、DataSource、DataType

位元組

PipelineRecordsIn

進入管道的記錄數量

PipelineName

計數

PipelineRecordsInByDataSource

來源/類型明細的傳入記錄數目

PipelineName、DataSource、DataType

計數

PipelineRecordsOut

退出管道的記錄數量

PipelineName

計數

PipelineRecordsOutByDataSource

來源/類型明細的傳出記錄數目

PipelineName、DataSource、DataType

計數

錯誤和警告指標

指標 Description 維度 單位

PipelineErrors

管道中的錯誤彙總計數

PipelineName

計數

PipelineErrorsByErrorType

依類型分類的詳細錯誤計數

PipelineName、 ErrorSource、 ErrorComponent、 ErrorType

計數

PipelineWarnings

遇到的警告數量

PipelineName

計數

PipelineWarningsByWarningType

依類型分類的詳細警告

PipelineName、 WarningSource、 WarningComponent、 WarningType

計數

PipelineRecordsUnprocessed

無法處理的記錄數量

PipelineName、DataSource、DataType

計數

PipelineRecordsDropped

捨棄的記錄數目 （僅限第三方來源）

PipelineName、DataSource、DataType

計數

維度

CloudWatch 管道指標使用以下維度：

PipelineName

管道的名稱

資料來源

資料來源 (AWS 服務名稱或第三方來源）

DataType

正在處理的資料類型

ErrorSource

錯誤的來源 (s3、aws.secrets、Cloudwatch_logs)

ErrorComponent

發生錯誤的元件 （來源、接收器、延伸）

ErrorType

遇到的錯誤類型

錯誤類型

下列錯誤類型會在 中追蹤PipelineErrorsByErrorType：

ACCESS_DENIED

許可相關失敗

ALL

管道上所有錯誤的總計數

RESOURCE_NOT_FOUND

指定的資源不存在

SOURCE_READ_FAILURE

從來源讀取失敗

PARSE_FAILURE

資料剖析錯誤

PROCESSOR_ERRORS

處理操作失敗

PAYLOAD_SIZE_EXCEEDED

超過資料大小限制

警告類型

管道上可能發生下列警告類型：

THROTTLED

表示傳送的資料量已超過現有的速率限制，導致某些資料點或事件遭到捨棄或延遲，以保護系統並確保穩定性。

檢視 指標

您可以使用下列方法檢視 CloudWatch 管道指標：

使用 CloudWatch 主控台

  1. 透過 https://console.aws.amazon.com/cloudwatch/ 開啟 CloudWatch 主控台。

  2. 在導覽窗格中，選擇指標

  3. 選擇 AWS/Observability Admin 命名空間

  4. 選取要檢視的指標維度

使用 AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

建立警示

您可以根據任何這些指標建立 CloudWatch 警示。以下是為管道錯誤建立警示的範例：

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

CloudWatch 管道指標的最佳實務

監控資料流程

  • 使用 PipelineBytesIn和 PipelineBytesOut 追蹤資料磁碟區

  • 監控 PipelineRecordsIn和 PipelineRecordsOut 以追蹤記錄計數

  • 留意輸送量模式的意外變更

追蹤錯誤和警告

  • 建立 的警示PipelineErrors，以快速偵測問題

  • 使用 PipelineErrorsByErrorType 來診斷特定問題

  • 監控PipelineWarnings以及早識別潛在問題

設定適當的閾值

  • 根據預期資料模式的基本閾值

  • 考慮資料量中的正常變化

  • 設定警示閾值時，請考慮尖峰使用期間