監控 Amazon Bedrock 的效能 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控 Amazon Bedrock 的效能

您可以使用 Amazon CloudWatch 監控 Amazon Bedrock 的所有部分,其會收集原始資料,並將該資料處理成可讀且近乎即時的指標。使用 CloudWatch 主控台繪製指標圖。您也可以設定留意特定閾值的警示,當超出這些閾值時傳送通知或採取動作。

如需詳細資訊,請參閱《Amazon CloudWatch 使用者指南》中的什麼是 Amazon CloudWatch

Amazon Bedrock 執行時期指標

下表說明 Amazon Bedrock 提供的執行時期指標。

指標名稱 單位 Description
調用 SampleCount ConverseConverseStreamInvokeModelInvokeModelWithResponseStream API 操作的成功請求數量。

InvocationLatency

毫秒

調用的延遲。

InvocationClientErrors

SampleCount

導致用戶端錯誤的調用數量。

InvocationServerErrors

SampleCount

導致 AWS 伺服器端錯誤的調用次數。

InvocationThrottles

SampleCount

系統限流的調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。您看到的限流數目取決於 SDK 中的重試設定。如需詳細資訊,請參閱《 AWS SDKs和工具參考指南》中的重試行為

InputTokenCount

SampleCount

輸入中的字符數量。

LegacyModelInvocations SampleCount 使用舊版模型的調用次數

OutputTokenCount

SampleCount

輸出中的字符數量。

OutputImageCount

SampleCount

輸出中的影像數量 (僅適用於影像產生模型)。

Amazon Bedrock 防護機制Amazon Bedrock 代理人也有指標。

適用於 Amazon Bedrock 的 CloudWatch 指標

對於每次傳送成功或失敗嘗試,系統即會在命名空間 AWS/BedrockAcross all model IDs 維度下發出下列的 Amazon CloudWatch 指標:

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

若要擷取 Amazon Bedrock 操作的指標,您必須指定下列資訊:

  • 指標維度。維度是一組用來識別指標的名稱與數值對。Amazon Bedrock 支援以下維度:

    • ModelId – 所有指標

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指標名稱,例如 InvocationClientErrors

您可以使用 AWS 管理主控台、 AWS CLI或 CloudWatch API 取得 Amazon Bedrock 的指標。您可以透過其中一個 AWS 軟體開發套件 (SDKs) 或 CloudWatch API 工具來使用 CloudWatch API。

若要在 CloudWatch 主控台中檢視 Amazon Bedrock 指標,請前往導覽窗格中的指標區段,然後選取所有指標選項,再搜尋模型 ID。

您必須擁有適當的 CloudWatch 許可來使用 CloudWatch 監控 Amazon Bedrock。如需詳細資訊,請參閱《Amazon CloudWatch 使用者指南》中的 Amazon CloudWatch 的驗證和存取控制