客服人員詳細資訊 - 評估 - Amazon CloudWatch

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

客服人員詳細資訊 - 評估

評估為您的 AI 代理器提供持續的品質監控指標。您可以使用儀表板提供的資訊來評估 AI 代理器的效能、品質和可靠性。

評估不會依賴模擬測試案例,而是擷取真實使用者工作階段和客服人員互動,提供從輸入到最終輸出的客服人員效能完整檢視。使用代理程式評估,您可以定義抽樣規則來僅評估工作階段或追蹤的百分比,然後將各種評估程式套用至評估 AI 代理程式的操作效能並加以評分。產生的評估和分數會顯示在評估儀表板中,可讓您監控趨勢、識別潛在品質問題、設定警示,以及調查和診斷潛在問題。

評估儀表板會列出為所選客服人員啟用和設定的所有評估。如需設定 代理程式評估的詳細資訊,請參閱 AgentCore 評估。您可以展開每個評估,以檢視已評估的工作階段、追蹤和跨度。

評估

評估詳細資訊

每次評估時,儀表板都會包含下列區段:

Evaluation configuration metrics

提供整體評估組態的指標。評估者定義如何評估 AI 代理器效能的特定層面。若要檢視評估者的詳細資訊,請在評估者欄中選擇其名稱。若要檢視長條圖並分析評估器的趨勢,請選擇計數欄中的值。

評估組態指標
Session evaluations

在工作階段層級為評估者提供評估結果。工作階段代表來自單一使用者或工作流程之相關互動的邏輯分組。工作階段可以包含一或多個追蹤。您可以在追蹤評估區段中選擇要篩選到該工作階段內追蹤清單的工作階段。

工作階段評估
Trace evaluations

為追蹤層級的評估者提供評估結果。追蹤是單一代理程式執行或請求的完整記錄。追蹤可以包含一或多個跨度。選擇追蹤以檢視追蹤詳細資訊,以及在該追蹤上執行的所有評估者。

追蹤評估
Span evaluations

在跨度層級為評估者提供評估結果。跨度代表在該執行期間執行的個別操作。選擇跨度以檢視跨度詳細資訊,以及在該跨度期間執行的所有操作。

跨度評估

評估圖表

評估儀表板也包含每個評估器的長條圖。圖表顯示每個評估器隨時間的趨勢,並可讓您設定特定指標值的警示。若要設定警示,請按一下圖形中的長條,然後選擇警示 (鈴鐺) 圖示。如需詳細資訊,請參閱 使用 Amazon CloudWatch 警示

評估圖表

使用評估結果

如果您需要直接存取評估結果資料,或者想要建立自訂視覺化或在 AgentCore 評估主控台之外工作,則可以直接透過 CloudWatch Logs、CloudWatch Metrics 和 CloudWatch 儀表板存取評估結果。

在 CloudWatch Logs 中存取評估結果

您的評估結果會自動發佈至內嵌指標格式 (EMF) 的 CloudWatch Logs。

尋找您的評估結果日誌群組
  1. 開啟 CloudWatch 主控台。

  2. 在導覽窗格中,選擇日誌管理 > 日誌群組

  3. 搜尋或導覽至字首為 的日誌群組/aws/bedrock-agentcore/evaluations/

  4. 在此日誌群組中,日誌事件包含評估結果。

如需使用日誌群組和查詢日誌資料的詳細資訊,請參閱使用日誌群組和日誌串流,以及使用 CloudWatch Logs Insights 分析日誌資料

在 CloudWatch 指標中存取評估指標

評估結果指標會自動從內嵌指標格式 (EMF) 日誌中擷取,並發佈至 CloudWatch 指標。

尋找您的評估指標
  1. 開啟 CloudWatch 主控台。

  2. 在導覽窗格中,選擇指標 > 所有指標

  3. 選取 Bedrock AgentCore/Evaluations 命名空間。

  4. 依維度瀏覽可用的指標。

如需檢視和使用指標的詳細資訊,請參閱使用 CloudWatch 指標圖形指標

建立自訂儀表板

您可以建立自訂儀表板,將您的評估指標與其他操作指標視覺化。

使用評估指標建立儀表板
  1. 在 CloudWatch 主控台中,從導覽窗格中選擇儀表板

  2. 選擇 Create dashboard (建立儀表板)

  3. 新增小工具,並從 Bedrock AgentCore/Evaluations 命名空間中選取指標。

  4. 根據您的需求自訂時間範圍、統計資料和視覺化類型。

如需詳細說明,請參閱建立和使用自訂儀表板使用 CloudWatch 儀表板

在評估指標上設定警示

您可以設定警示,以便在評估指標超過您指定的閾值時通知您,例如當正確性低於可接受的層級時。

在評估指標上建立警示
  1. 在 CloudWatch 主控台中,選擇警示 > 所有警示

  2. 選擇 Create alarm (建立警示)。

  3. 選擇選取指標並導覽至 Bedrock AgentCore/Evaluations 命名空間。

  4. 選取您要監控的指標。

  5. 設定閾值條件 (當您不需要指定靜態數字閾值時,可用的動態異常偵測閾值) 和通知動作。

如需詳細說明,請參閱使用 CloudWatch 警示根據靜態閾值建立 CloudWatch 警示

其他資源