本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 客服人員詳細資訊 - 評估 評估為您的 AI 代理器提供持續的品質監控指標。您可以使用儀表板提供的資訊來評估 AI 代理器的效能、品質和可靠性。 評估不會依賴模擬測試案例，而是擷取真實使用者工作階段和客服人員互動，提供從輸入到最終輸出的客服人員效能完整檢視。透過客服人員評估，您可以定義抽樣規則，僅評估工作階段或追蹤的百分比，然後將各種評估者套用到評估 AI 客服人員的操作效能並加以評分。產生的評估和分數會顯示在評估儀表板中，可讓您監控趨勢、識別潛在品質問題、設定警示，以及調查和診斷潛在問題。 評估儀表板會列出為所選客服人員啟用和設定的所有評估。如需設定 代理程式評估的詳細資訊，請參閱 [ AgentCore 評估](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html)。您可以展開每個評估，以檢視已評估的工作階段、追蹤和跨度。 ![評估](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_overview.png) **Topics** + [評估詳細資訊](#session-traces-evaluations-details) + [評估圖表](#session-traces-evaluations-graphs) + [使用評估結果](#session-traces-evaluations-raw-results) ## 評估詳細資訊 每次評估時，儀表板都會包含下列區段： ------ #### [ Evaluation configuration metrics ] 提供整體評估組態的指標。評估者定義如何評估 AI 代理器效能的特定層面。若要檢視評估者的詳細資訊，請在**評估者**欄中選擇其名稱。若要檢視長條圖並分析評估器的趨勢，請選擇**計數**欄中的值。 ![評估組態指標](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_01.png) ------ #### [ Session evaluations ] 在工作階段層級為評估者提供評估結果。工作階段代表來自單一使用者或工作流程之相關互動的邏輯分組。工作階段可以包含一或多個追蹤。您可以在追蹤**評估**區段中選擇要篩選到該工作階段內追蹤清單的工作階段。 ![工作階段評估](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_02.png) ------ #### [ Trace evaluations ] 為追蹤層級的評估者提供評估結果。追蹤是單一代理程式執行或請求的完整記錄。追蹤可以包含一或多個跨度。選擇追蹤以檢視追蹤詳細資訊，以及在該追蹤上執行的所有評估者。 ![追蹤評估](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_03.png) ------ #### [ Span evaluations ] 在跨度層級為評估者提供評估結果。跨度代表在該執行期間執行的個別操作。選擇跨度以檢視跨度詳細資訊，以及在該跨度期間執行的所有操作。 ![跨度評估](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_04.png) ------ ## 評估圖表 評估儀表板也包含每個評估器的長條圖。圖表顯示每個評估器隨時間的趨勢，並可讓您設定特定指標值的警示。若要設定警示，請按一下圖形中的長條，然後選擇**警示** （鐘） 圖示。如需詳細資訊，請參閱[使用 Amazon CloudWatch 警示](CloudWatch_Alarms.md)。 ![評估圖表](http://docs.aws.amazon.com/zh_tw/AmazonCloudWatch/latest/monitoring/images/evals_graphs.png) ## 使用評估結果 如果您需要直接存取評估結果資料，或者想要建立自訂視覺化或在 AgentCore 評估主控台之外工作，則可以直接透過 CloudWatch Logs、CloudWatch Metrics 和 CloudWatch 儀表板存取評估結果。 **Topics** + [在 CloudWatch Logs 中存取評估結果](#accessing-evaluation-results-logs) + [在 CloudWatch 指標中存取評估指標](#accessing-evaluation-metrics) + [建立自訂儀表板](#creating-custom-dashboards) + [在評估指標上設定警示](#setting-alarms-evaluation-metrics) + [其他資源](#additional-resources) ### 在 CloudWatch Logs 中存取評估結果 您的評估結果會自動發佈至內嵌指標格式 (EMF) 的 CloudWatch Logs。 **尋找您的評估結果日誌群組** 1. 開啟 CloudWatch 主控台。 1. 在導覽窗格中，選擇**日誌管理** > **日誌群組**。 1. 搜尋或導覽至字首為 的日誌群組`/aws/bedrock-agentcore/evaluations/`。 1. 在此日誌群組中，日誌事件包含評估結果。 如需使用日誌群組和查詢日誌資料的詳細資訊，請參閱[使用日誌群組和日誌串流](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html)，以及[使用 CloudWatch Logs Insights 分析日誌資料](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)。 ### 在 CloudWatch 指標中存取評估指標 評估結果指標會自動從內嵌指標格式 (EMF) 日誌中擷取，並發佈至 CloudWatch 指標。 **尋找您的評估指標** 1. 開啟 CloudWatch 主控台。 1. 在導覽窗格中，選擇**指標** > **所有指標**。 1. 選取 **Bedrock AgentCore/Evaluations** 命名空間。 1. 依維度瀏覽可用的指標。 如需檢視和使用指標的詳細資訊，請參閱[使用 CloudWatch 指標](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html)和[圖形指標](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/graph_metrics.html)。 ### 建立自訂儀表板 您可以建立自訂儀表板，將您的評估指標與其他操作指標視覺化。 **建立具有評估指標的儀表板** 1. 在 CloudWatch 主控台中，從導覽窗格中選擇**儀表板**。 1. 選擇 **Create dashboard (建立儀表板)**。 1. 新增小工具，然後從 **Bedrock AgentCore/Evaluations** 命名空間中選取指標。 1. 根據您的需求自訂時間範圍、統計資料和視覺化類型。 如需詳細說明，請參閱[建立和使用自訂儀表板](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/create_dashboard.html)和[使用 CloudWatch 儀表板](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html)。 ### 在評估指標上設定警示 您可以設定警示，以便在評估指標超過您指定的閾值時通知您，例如當正確性低於可接受的層級時。 **在評估指標上建立警示** 1. 在 CloudWatch 主控台中，選擇**警示** > **所有警示**。 1. 選擇 **Create alarm** (建立警示)。 1. 選擇**選取指標**並導覽至 **Bedrock AgentCore/Evaluations** 命名空間。 1. 選取您要監控的指標。 1. 設定閾值條件 （當您不需要指定靜態數字閾值時，可用的動態異常偵測閾值） 和通知動作。 如需詳細說明，請參閱[使用 CloudWatch 警示](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html)和[根據靜態閾值建立 CloudWatch 警示](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/ConsoleAlarms.html)。 ### 其他資源 + [CloudWatch 內嵌指標格式](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CloudWatch-Logs-Monitoring-CloudWatch-Metrics.html) + [CloudWatch Logs Insights 查詢語法](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html) + [建立複合警示](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Create_Composite_Alarm.html)