本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
客服人員詳細資訊 - 評估
評估為您的 AI 代理器提供持續的品質監控指標。您可以使用儀表板提供的資訊來評估 AI 代理器的效能、品質和可靠性。
評估不會依賴模擬測試案例,而是擷取真實使用者工作階段和客服人員互動,提供從輸入到最終輸出的客服人員效能完整檢視。使用代理程式評估,您可以定義抽樣規則來僅評估工作階段或追蹤的百分比,然後將各種評估程式套用至評估 AI 代理程式的操作效能並加以評分。產生的評估和分數會顯示在評估儀表板中,可讓您監控趨勢、識別潛在品質問題、設定警示,以及調查和診斷潛在問題。
評估儀表板會列出為所選客服人員啟用和設定的所有評估。如需設定 代理程式評估的詳細資訊,請參閱 AgentCore 評估。您可以展開每個評估,以檢視已評估的工作階段、追蹤和跨度。
評估詳細資訊
每次評估時,儀表板都會包含下列區段:
評估圖表
評估儀表板也包含每個評估器的長條圖。圖表顯示每個評估器隨時間的趨勢,並可讓您設定特定指標值的警示。若要設定警示,請按一下圖形中的長條,然後選擇警示 (鈴鐺) 圖示。如需詳細資訊,請參閱 使用 Amazon CloudWatch 警示。
使用評估結果
如果您需要直接存取評估結果資料,或者想要建立自訂視覺化或在 AgentCore 評估主控台之外工作,則可以直接透過 CloudWatch Logs、CloudWatch Metrics 和 CloudWatch 儀表板存取評估結果。
在 CloudWatch Logs 中存取評估結果
您的評估結果會自動發佈至內嵌指標格式 (EMF) 的 CloudWatch Logs。
尋找您的評估結果日誌群組
-
開啟 CloudWatch 主控台。
-
在導覽窗格中,選擇日誌管理 > 日誌群組。
-
搜尋或導覽至字首為 的日誌群組
/aws/bedrock-agentcore/evaluations/。 -
在此日誌群組中,日誌事件包含評估結果。
如需使用日誌群組和查詢日誌資料的詳細資訊,請參閱使用日誌群組和日誌串流,以及使用 CloudWatch Logs Insights 分析日誌資料。
在 CloudWatch 指標中存取評估指標
評估結果指標會自動從內嵌指標格式 (EMF) 日誌中擷取,並發佈至 CloudWatch 指標。
尋找您的評估指標
-
開啟 CloudWatch 主控台。
-
在導覽窗格中,選擇指標 > 所有指標。
-
選取 Bedrock AgentCore/Evaluations 命名空間。
-
依維度瀏覽可用的指標。
如需檢視和使用指標的詳細資訊,請參閱使用 CloudWatch 指標和圖形指標。
建立自訂儀表板
您可以建立自訂儀表板,將您的評估指標與其他操作指標視覺化。
使用評估指標建立儀表板
-
在 CloudWatch 主控台中,從導覽窗格中選擇儀表板。
-
選擇 Create dashboard (建立儀表板)。
-
新增小工具,並從 Bedrock AgentCore/Evaluations 命名空間中選取指標。
-
根據您的需求自訂時間範圍、統計資料和視覺化類型。
如需詳細說明,請參閱建立和使用自訂儀表板和使用 CloudWatch 儀表板。
在評估指標上設定警示
您可以設定警示,以便在評估指標超過您指定的閾值時通知您,例如當正確性低於可接受的層級時。
在評估指標上建立警示
-
在 CloudWatch 主控台中,選擇警示 > 所有警示。
-
選擇 Create alarm (建立警示)。
-
選擇選取指標並導覽至 Bedrock AgentCore/Evaluations 命名空間。
-
選取您要監控的指標。
-
設定閾值條件 (當您不需要指定靜態數字閾值時,可用的動態異常偵測閾值) 和通知動作。
如需詳細說明,請參閱使用 CloudWatch 警示和根據靜態閾值建立 CloudWatch 警示。