本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 CloudWatch `bedrock-runtime` 指標監控推論
<a name="monitoring-runtime-metrics"></a>

Amazon Bedrock `bedrock-runtime.{{region}}.amazonaws.com`端點會在 `AWS/Bedrock` 命名空間下將指標發佈至 Amazon CloudWatch。使用這些指標來監控調用量、延遲、字符消耗、錯誤率和模型調用日誌傳遞。

如果您的應用程式透過 呼叫推論`bedrock-mantle.{{region}}.api.aws`，請[使用 CloudWatch `bedrock-mantle` 指標監控推論](monitoring-mantle-metrics.md)改為參閱 。

## Amazon Bedrock 執行時期指標
<a name="runtime-cloudwatch-metrics"></a>

下表說明 Amazon Bedrock 提供的執行時期指標。


| 指標名稱 | 單位 | 說明 | 
| --- | --- | --- | 
| 調用 | SampleCount | [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)、[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)、[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 和 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) API 操作的成功請求數量。 | 
| InvocationLatency | 毫秒 | 從傳送請求到收到最後一個字符的時間。<br />若要區分服務端輸送量變更所造成的延遲增加，以及模型回應時間較長所造成的延遲增加，請參閱 [使用每秒輸出字符 (OTPS) 診斷`InvocationLatency`增加](monitoring-runtime-otps.md)。 | 
| InvocationClientErrors | SampleCount | 導致用戶端錯誤的調用數量。 | 
| InvocationServerErrors | SampleCount | 導致 AWS 伺服器端錯誤的調用次數。 | 
| InvocationThrottles | SampleCount | 系統限流的調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。您看到的限流數目取決於 SDK 中的重試設定。如需詳細資訊，請參閱《 AWS SDKs和工具參考指南》中的[重試行為](https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html)。 | 
| InputTokenCount | SampleCount | 輸入中的字符數量。 | 
| LegacyModelInvocations | SampleCount | 使用[舊版](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_FoundationModelLifecycle.html)模型的調用次數  | 
| OutputTokenCount | SampleCount | 輸出中的字符數量。 | 
| OutputImageCount | SampleCount | 輸出中的影像數量 (僅適用於影像產生模型)。 | 
| TimeToFirstToken | 毫秒 | 針對 [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) 和 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) 串流 API 操作，從請求傳送到收到第一個字符的時間。 | 
| EstimatedTPMQuotaUsage | SampleCount | [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)、[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)、[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 和 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) API 操作的每分鐘預估字符數 (TPM) 配額消耗。此指標是近似值，不會反映驅動限流決策的保留型字符使用量。調節是根據輸入字符加號的預付保留 `max_tokens`（請參閱 [Amazon Bedrock 字符的計數方式](quotas-token-burndown.md))，這可能與此預估值不同。請勿使用此指標作為配額使用或容量規劃的唯一指標。 | 
| CacheReadInputTokens | SampleCount | 從[提示快取](prompt-caching.md)讀取的輸入字符數量。這些字符會以較低的費率收費，且不計入您的 TPM 配額。 | 
| CacheWriteInputTokens | SampleCount | 寫入[提示快取](prompt-caching.md)的輸入字符數量。這些字符會計入您的 TPM 配額。 | 

[Amazon Bedrock 防護機制](monitoring-guardrails-cw-metrics.md)和 [Amazon Bedrock 代理人](monitoring-agents-cw-metrics.md)也有指標。

## 模型調用記錄 CloudWatch 指標
<a name="br-cloudwatch-metrics"></a>

對於每次傳送成功或失敗嘗試，系統即會在命名空間 `AWS/Bedrock` 和 `Across all model IDs` 維度下發出下列的 Amazon CloudWatch 指標：
+ `ModelInvocationLogsCloudWatchDeliverySuccess`
+ `ModelInvocationLogsCloudWatchDeliveryFailure`
+ `ModelInvocationLogsS3DeliverySuccess`
+ `ModelInvocationLogsS3DeliveryFailure`
+ `ModelInvocationLargeDataS3DeliverySuccess`
+ `ModelInvocationLargeDataS3DeliveryFailure`

若要擷取 Amazon Bedrock 操作的指標，您必須指定下列資訊：
+ 指標維度。*維度*是一組用來識別指標的名稱與數值對。Amazon Bedrock 支援以下維度：
  + `ModelId` – 所有指標
  + `ModelId + ImageSize + BucketedStepSize` – OutputImageCount
+ 指標名稱，例如 `InvocationClientErrors`。

您可以使用 AWS 管理主控台、 AWS CLI或 CloudWatch API 取得 Amazon Bedrock 的指標。您可以透過其中一個 AWS 軟體開發套件 (SDKs) 或 CloudWatch API 工具來使用 CloudWatch API。

若要在 CloudWatch 主控台中檢視 Amazon Bedrock 指標，請前往導覽窗格中的指標區段，然後選取所有指標選項，再搜尋模型 ID。

您必須擁有適當的 CloudWatch 許可來使用 CloudWatch 監控 Amazon Bedrock。如需詳細資訊，請參閱*《Amazon CloudWatch 使用者指南》*中的 [Amazon CloudWatch 的驗證和存取控制](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/auth-and-access-control-cw.html)。