使用 CloudWatch 指標監控 Amazon Bedrock 代理程式 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 CloudWatch 指標監控 Amazon Bedrock 代理程式

下表說明 Amazon Bedrock 代理程式提供的執行時期指標,您可以使用 Amazon CloudWatch 指標進行監控。

執行時期指標

指標名稱 單位 Description
InvocationCount SampleCount 向 API 操作提出的請求數。
TotalTime 毫秒 伺服器處理請求所需的時間
TTFT 毫秒 Time-to-first-token 指標。為 invokeAgentinvokeInlineAgent 請求啟用串流組態時發出
InvocationThrottles SampleCount 系統限流的調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。
InvocationServerErrors SampleCount 導致AWS伺服器端錯誤的叫用次數
InvocationClientErrors SampleCount 導致用戶端錯誤的調用數量。
ModelLatency 毫秒 模型的延遲
ModelInvocationCount SampleCount 代理程式對模型提出的請求數量
ModelInvocationThrottles SampleCount Amazon Bedrock 核心限流的模型調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。
ModelInvocationClientErrors SampleCount 導致用戶端錯誤的模型調用數量。
ModelInvocationServerErrors SampleCount 導致AWS伺服器端錯誤的模型調用數量
InputTokenCount SampleCount 輸入至模型的字符數量。
outputTokenCount SampleCount 自模型輸出的字符數量。

您可以根據下表在 CloudWatch 主控台中檢視代理程式維度:

維度

維度名稱 維度值 適用於下列指標
作業 InvokeAgentInvokeInlineAgent
  • InvocationCount

  • TotalTime

  • TTFT

  • InvocationThrottles

  • InvocationServerErrors

  • InvocationClientErrors

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLientErrors

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

操作、ModelId 在操作維度和任何 Amazon Bedrock 核心模型其 modelId 中列出的任何 Amazon Bedrock 代理程式操作
  • TotalTime

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLientErrors

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

操作、AgentAliasArn、ModelId 在操作維度和任何 Amazon Bedrock 核心模型其任何 modelId 中所列的任何 Amazon Bedrock 代理程式操作,依代理程式別名的 agentAliasArn 分組
  • InvocationCount

  • TotalTime

  • TTFT

  • InvocationThrottles

  • InvocationServerErrors

  • InvocationClientErrors

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLientErrors

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

為代理程式使用 CloudWatch 指標

您可以使用 AWS管理主控台、 CLI 或 CloudWatch API AWS來取得客服人員的指標。您可以透過其中一個AWS軟體開發套件 (SDKs) 或 CloudWatch API 工具來使用 CloudWatch API。

CloudWatch 中代理程式指標的命名空間為 AWS/Bedrock/Agents

您必須擁有適當的 CloudWatch 許可才可使用 CloudWatch 來監控代理程式。如需詳細資訊,請參閱《CloudWatch 使用者指南》中的 CloudWatch 的身分驗證與存取控制

重要

如果您不希望 CloudWatch 使用收集的資料來改善 CloudWatch 服務,您可以建立退出政策。如需詳細資訊,請參閱 AI 服務退出政策

如果您在 CloudWatch 儀表板中沒有看到發布的指標,請確定您用來建立代理程式的 IAM 服務角色具有下列政策。

JSON
{ "Version":"2012-10-17", "Statement": { "Effect": "Allow", "Resource": "*", "Action": "cloudwatch:PutMetricData", "Condition": { "StringEquals": { "cloudwatch:namespace": "AWS/Bedrock/Agents" } } } }