View a markdown version of this page

運作方式 - Amazon Bedrock AgentCore
您取得的內容分析的運作方式執行時失敗類別

運作方式

AgentCore 洞察可回答有關客服人員生產行為的三個問題：為什麼失敗？ 使用者要求什麼？ 和 如何解決問題？

您取得的內容

當您執行洞見時，會收到：

  • 失敗模式的優先順序清單 ： 不是個別錯誤，而是依根本原因分組的重複性問題。每個模式都會告訴您發生了什麼問題和原因。Insights 與 AgentCore 建議功能整合，以針對失敗模式產生修正。

  • 使用者意圖的映射 — 使用者嘗試完成的最常見事項，按頻率排名。

  • 客服人員行為模式的摘要 — 您的客服人員通常如何處理問題及其實現的結果。

這些對應到您可以設定的三種洞見類型：

  • Builtin.Insight.FailureAnalysis — 失敗模式偵測和根本原因分析

  • Builtin.Insight.UserIntent — 使用者意圖擷取和叢集

  • Builtin.Insight.ExecutionSummary — 客服人員行為摘要和叢集

分析的運作方式

Insights 會檢查客服人員的工作階段追蹤 — 使用者訊息、客服人員推理、工具呼叫和回應的完整記錄 — 並在兩個層級產生問題清單：

工作階段層級分析

每個工作階段都會個別分析，以判斷：

  • 代理程式在執行期間是否遇到失敗 — 包括追蹤中的隱藏失敗，即使工作階段顯示成功，最終使用者也可能看不到這些失敗

  • 發生什麼類型的失敗 （工具錯誤、幻覺、錯誤的工具選擇等）

  • 代理程式執行中的哪個特定步驟導致失敗

  • 根本原因是什麼

  • 使用者嘗試達成的目標

  • 客服人員採取了哪些方法和最終結果

模式探索

分析個別工作階段後，服務會將類似的問題清單分組在一起，以識別所有工作階段的週期性模式。對於失敗分析，這會產生三個層級的階層：

  1. 失敗類別：廣泛分組，例如「執行錯誤」、「幻覺」或「動作不正確」。

  2. 子類別：更具體的故障類型，例如「速率限制」或「工具結構描述錯誤」。

  3. 根本原因叢集：在每個子類別中，特定重複的根本原因。每個叢集都會告訴您：

    • 根本原因是什麼

    • 受影響的工作階段數量

    • 您可以檢查哪些工作階段以取得詳細資訊

對於使用者意圖和執行摘要，服務會產生依頻率排名的平面叢集。

執行時

您可以控制洞見執行的時間：

  • 一次性：每當您想要分析時StartBatchEvaluation呼叫 - 例如，部署後、使用者投訴激增後，或作為每週審查的一部分。

  • 週期性：設定叢集頻率 (DAILY、 WEEKLY或 MONTHLY)，服務會自動執行，為您提供定期報告，無需手動介入。

失敗類別

Insights 可辨識客服人員失敗類型的廣泛分類：

Category 範例

執行錯誤

身分驗證失敗、找不到資源、服務錯誤、速率限制、逾時、工具結構描述違規

任務指示問題

不遵循指示、問題識別失敗

動作不正確

工具選擇錯誤、資訊擷取不佳、不適當的釐清請求

內容處理

整個回合的內容處理失敗

幻覺

製作功能、誤解、不正確的使用、歷史記錄製作、參數幻覺、製作工具輸出

重複行為

工具呼叫重複、資訊請求重複、步驟重複

協同運作錯誤

原因不符、目標偏差、過早終止、不知道終止

LLM 輸出問題

無意義輸出

組態不相符

工具定義不相符

編碼特定

邊緣案例監督、相依性問題