View a markdown version of this page

使用 CloudWatch bedrock-runtime 指標監控推論 - Amazon Bedrock
Amazon Bedrock 執行時期指標模型調用記錄 CloudWatch 指標

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 CloudWatch bedrock-runtime 指標監控推論

Amazon Bedrock bedrock-runtime.region.amazonaws.com端點會在 AWS/Bedrock 命名空間下將指標發佈至 Amazon CloudWatch。使用這些指標來監控調用量、延遲、字符消耗、錯誤率和模型調用日誌傳遞。

如果您的應用程式透過 呼叫推論bedrock-mantle.region.api.aws，請使用 CloudWatch bedrock-mantle 指標監控推論改為參閱 。

Amazon Bedrock 執行時期指標

下表說明 Amazon Bedrock 提供的執行時期指標。

指標名稱 單位 說明
調用 SampleCount Converse、ConverseStream、InvokeModel 和 InvokeModelWithResponseStream API 操作的成功請求數量。

InvocationLatency

 毫秒

從傳送請求到收到最後一個字符的時間。

若要區分服務端輸送量變更所造成的延遲增加，以及模型回應時間較長所造成的延遲增加，請參閱 使用每秒輸出字符 (OTPS) 診斷InvocationLatency增加。

InvocationClientErrors

 SampleCount

導致用戶端錯誤的調用數量。

InvocationServerErrors

 SampleCount

導致 AWS 伺服器端錯誤的調用次數。

InvocationThrottles

 SampleCount

系統限流的調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。您看到的限流數目取決於 SDK 中的重試設定。如需詳細資訊，請參閱《 AWS SDKs和工具參考指南》中的重試行為。

InputTokenCount

 SampleCount

輸入中的字符數量。
LegacyModelInvocations SampleCount 使用舊版模型的調用次數

OutputTokenCount

 SampleCount

輸出中的字符數量。

OutputImageCount

 SampleCount

輸出中的影像數量 (僅適用於影像產生模型)。

TimeToFirstToken

 毫秒

針對 ConverseStream 和 InvokeModelWithResponseStream 串流 API 操作，從請求傳送到收到第一個字符的時間。

EstimatedTPMQuotaUsage

 SampleCount

Converse、ConverseStream、InvokeModel 和 InvokeModelWithResponseStream API 操作的每分鐘預估字符數 (TPM) 配額消耗。此指標是近似值，不會反映驅動限流決策的保留型字符使用量。調節是根據輸入字符加號的預付保留 max_tokens（請參閱 Amazon Bedrock 字符的計數方式)，這可能與此預估值不同。請勿使用此指標作為配額使用或容量規劃的唯一指標。

CacheReadInputTokens

 SampleCount

從提示快取讀取的輸入字符數量。這些字符會以較低的費率收費，且不計入您的 TPM 配額。

CacheWriteInputTokens

 SampleCount

寫入提示快取的輸入字符數量。這些字符會計入您的 TPM 配額。

Amazon Bedrock 防護機制和 Amazon Bedrock 代理人也有指標。

模型調用記錄 CloudWatch 指標

對於每次傳送成功或失敗嘗試，系統即會在命名空間 AWS/Bedrock 和 Across all model IDs 維度下發出下列的 Amazon CloudWatch 指標：

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

若要擷取 Amazon Bedrock 操作的指標，您必須指定下列資訊：

  • 指標維度。維度是一組用來識別指標的名稱與數值對。Amazon Bedrock 支援以下維度：

    • ModelId – 所有指標

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指標名稱，例如 InvocationClientErrors。

您可以使用 AWS 管理主控台、 AWS CLI或 CloudWatch API 取得 Amazon Bedrock 的指標。您可以透過其中一個 AWS 軟體開發套件 (SDKs) 或 CloudWatch API 工具來使用 CloudWatch API。

若要在 CloudWatch 主控台中檢視 Amazon Bedrock 指標，請前往導覽窗格中的指標區段，然後選取所有指標選項，再搜尋模型 ID。

您必須擁有適當的 CloudWatch 許可來使用 CloudWatch 監控 Amazon Bedrock。如需詳細資訊，請參閱《Amazon CloudWatch 使用者指南》中的 Amazon CloudWatch 的驗證和存取控制。