本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 CloudWatch 指標監控 Amazon Bedrock 代理程式
下表說明 Amazon Bedrock 代理程式提供的執行時期指標,您可以使用 Amazon CloudWatch 指標進行監控。
執行時期指標
| 指標名稱 | 單位 | Description |
|---|---|---|
| InvocationCount | SampleCount | 向 API 操作提出的請求數。 |
| TotalTime | 毫秒 | 伺服器處理請求所需的時間 |
| TTFT | 毫秒 | Time-to-first-token 指標。為 invokeAgent 或 invokeInlineAgent 請求啟用串流組態時發出 |
| InvocationThrottles | SampleCount | 系統限流的調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。 |
| InvocationServerErrors | SampleCount | 導致AWS伺服器端錯誤的叫用次數 |
| InvocationClientErrors | SampleCount | 導致用戶端錯誤的調用數量。 |
| ModelLatency | 毫秒 | 模型的延遲 |
| ModelInvocationCount | SampleCount | 代理程式對模型提出的請求數量 |
| ModelInvocationThrottles | SampleCount | Amazon Bedrock 核心限流的模型調用數量。限流的請求和其他調用錯誤不會計為調用或錯誤。 |
| ModelInvocationClientErrors | SampleCount | 導致用戶端錯誤的模型調用數量。 |
| ModelInvocationServerErrors | SampleCount | 導致AWS伺服器端錯誤的模型調用數量 |
| InputTokenCount | SampleCount | 輸入至模型的字符數量。 |
| outputTokenCount | SampleCount | 自模型輸出的字符數量。 |
您可以根據下表在 CloudWatch 主控台中檢視代理程式維度:
維度
| 維度名稱 | 維度值 | 適用於下列指標 |
|---|---|---|
| 作業 | InvokeAgent、InvokeInlineAgent |
|
| 操作、ModelId | 在操作維度和任何 Amazon Bedrock 核心模型其 modelId 中列出的任何 Amazon Bedrock 代理程式操作 |
|
| 操作、AgentAliasArn、ModelId | 在操作維度和任何 Amazon Bedrock 核心模型其任何 modelId 中所列的任何 Amazon Bedrock 代理程式操作,依代理程式別名的 agentAliasArn 分組 |
|
為代理程式使用 CloudWatch 指標
您可以使用 AWS管理主控台、 CLI 或 CloudWatch API AWS來取得客服人員的指標。您可以透過其中一個AWS軟體開發套件 (SDKs) 或 CloudWatch API 工具來使用 CloudWatch API。
CloudWatch 中代理程式指標的命名空間為 AWS/Bedrock/Agents。
您必須擁有適當的 CloudWatch 許可才可使用 CloudWatch 來監控代理程式。如需詳細資訊,請參閱《CloudWatch 使用者指南》中的 CloudWatch 的身分驗證與存取控制。
重要
如果您不希望 CloudWatch 使用收集的資料來改善 CloudWatch 服務,您可以建立退出政策。如需詳細資訊,請參閱 AI 服務退出政策。
如果您在 CloudWatch 儀表板中沒有看到發布的指標,請確定您用來建立代理程式的 IAM 服務角色具有下列政策。