View a markdown version of this page

AI 代理器指標 - Amazon Connect 客戶
作用中 AI 代理器AI 代理器調用AI 代理器調用成功AI 代理器調用成功率AI 代理程式回應很有幫助AI 代理器回應沒有幫助AI 交接AI 交接率AI 回應完成率AI 參與的聯絡案例AI 提示叫用成功AI 提示調用成功率AI 提示叫用AI 工具調用成功AI 工具調用成功率AI 工具調用AI 工具參數準確度AI 工具選擇準確度AI 工具使用率準確性平均 AI 代理程式對話輪換平均 AI 對話輪換平均 AI 提示叫用延遲平均 AI 工具調用延遲完整性分數宗教分數目標成功率知識內容參考已回答的主動意圖偵測到主動意圖參與的主動意圖主動意圖參與率主動意圖回應率

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

AI 代理器指標

下列指標可用於監控 AI 代理器效能。如需建立 AI 代理器的詳細資訊，請參閱建立 AI 代理器。如需建立 AI 提示的資訊，請參閱建立 AI 提示。如需 AI 代理器 MCP 工具的資訊，請參閱 AI 代理器 MCP 工具。

作用中 AI 代理器

此指標會測量唯一 AI 代理器的總數，其中每個 AI 代理器都是透過名稱和版本的唯一組合來識別。

  • 指標類型：整數

  • 指標類別：AI 代理器

  • GetMetricDataV2 API 指標識別碼：ACTIVE_AI_AGENTS

  • 儀表板位置：AI Agent Performance Dashboard、Active AI Agents

AI 代理器調用

此指標會測量每個執行個體所有 AI 代理器的 AI 代理器調用總數。

  • 指標類型：整數

  • 指標類別：AI Agent

  • GetMetricDataV2 API 指標識別碼：AI_AGENT_INVOCATIONS

  • 儀表板位置：AI 代理器效能儀表板、AI 代理器調用計數

AI 代理器調用成功

此指標會測量在未發生 API 錯誤、逾時或系統問題等技術故障的情況下，成功執行的 AI 代理程式叫用次數。

  • 指標類型：整數

  • 指標類別：AI Agent

  • GetMetricDataV2 API 指標識別碼：AI_AGENT_INVOCATION_SUCCESS

AI 代理器調用成功率

此指標會測量在技術失敗的情況下成功執行的 AI 代理器調用百分比。

  • 指標類型：百分比

  • 指標類別：AI Agent

  • GetMetricDataV2 API 指標識別碼：AI_AGENT_INVOCATION_SUCCESS_RATE

  • 儀表板位置：AI 代理器效能儀表板、AI 代理器調用成功率

AI 代理程式回應很有幫助

此指標會測量 AI 建議計數，這些建議被評定為對大拇指增加有幫助。

  • 指標類型：整數

  • 指標類別：AI Agent

  • GetMetricDataV2 API 指標識別碼：AI_AGENT_RESPONSE_HELPFUL

  • 儀表板位置：AI Agent Performance Dashboard、AI Agent Response Helpful

注意

此指標每 6 小時更新一次。此指標是 Connect Customer AI 的一部分。

AI 代理器回應沒有幫助

此指標會測量評定為對拇指向下無幫助的 AI 建議計數。

  • 指標類型：整數

  • 指標類別：AI Agent

  • GetMetricDataV2 API 指標識別碼：AI_AGENT_RESPONSE_NOT_HELPFUL

  • 儀表板位置：AI 代理器效能儀表板、AI 代理器回應沒有幫助

注意

此指標每 6 小時更新一次。此指標是 Connect Customer AI 的一部分。

AI 交接

此指標會測量呈報給人工客服人員的 AI 客服人員處理的聯絡案例總數。此指標特別適用於 AI 代理器最初處理客戶查詢的自助式使用案例。

  • 指標類型：整數

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：AI_HANDOFFS

AI 交接率

此指標會測量 AI 客服人員處理的聯絡案例百分比，這些客服人員已呈報至人力客服人員或其他支援。

  • 指標類型：百分比

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：AI_HANDOFF_RATE

  • 儀表板位置：AI 客服人員效能儀表板、交接率

AI 回應完成率

此指標會測量成功回應傳入客戶請求的 AI 工作階段百分比。

  • 指標類型：百分比

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：AI_RESPONSE_COMPLETION_RATE

  • 儀表板位置：AI 客服人員效能儀表板、回應完成率

AI 參與的聯絡案例

此指標會測量涉及 AI 客服人員的客戶聯絡總數，無論是提供自助式自動化，或協助人力客服人員解決客戶查詢。

  • 指標類型：整數

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：AI_INVOLVED_CONTACTS

  • 儀表板位置：AI 客服人員效能儀表板、AI 相關聯絡人

AI 提示叫用成功

此指標會測量成功執行且未發生錯誤的 AI 提示調用數量。

  • 指標類型：整數

  • 指標類別：AI 提示

  • GetMetricDataV2 API 指標識別碼：AI_PROMPT_INVOCATION_SUCCESS

AI 提示調用成功率

此指標會測量成功執行的 AI 提示調用百分比。

  • 指標類型：百分比

  • 指標類別：AI 提示

  • GetMetricDataV2 API 指標識別碼：AI_PROMPT_INVOCATION_SUCCESS_RATE

  • 儀表板位置：AI 代理器效能儀表板、AI 提示調用成功率

AI 提示叫用

此指標會測量 AI 提示調用的總計數。

  • 指標類型：整數

  • 指標類別：AI 提示

  • GetMetricDataV2 API 指標識別碼：AI_PROMPT_INVOCATIONS

  • 儀表板位置：AI 代理器效能儀表板、AI 提示調用計數

AI 工具調用成功

此指標會測量成功執行的 AI 工具調用總數。

  • 指標類型：整數

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_INVOCATION_SUCCESS

AI 工具調用成功率

此指標會測量成功執行的 AI 工具調用百分比。

  • 指標類型：百分比

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_INVOCATION_SUCCESS_RATE

  • 儀表板位置：AI 代理器效能儀表板、AI 工具調用成功率

AI 工具調用

此指標會測量 AI 工具調用的總計數。

  • 指標類型：整數

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_INVOCATIONS

  • 儀表板位置：AI 代理器效能儀表板、AI 工具調用計數

AI 工具參數準確度

此指標會測量 AI 代理器提供正確參數的工具調用速率。值介於 0-1 之間，其中 1 表示完美的參數準確度。

  • 指標類型：Double

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_PARAMETER_ACCURACY

  • 儀表板位置：AI 代理器效能儀表板、AI 工具參數準確性

評估條件：

此指標使用自動化 LLM 型評估，根據對話內容和工具的參數定義，分析傳遞給每個工具呼叫的參數。根據下列條件，每個工具呼叫的評分都是正確或不正確：

  • 存在：所有必要參數是否存在並正確填入？

  • 準確性：對話內容是否明確證明參數值，而不是推斷或假設？

  • 精確度：是否包含任何額外、不相關或製作的參數？

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

AI 工具選擇準確度

此指標會測量 AI 代理器選取正確工具的速率。值介於 0-1 之間，其中 1 表示最佳選擇。

  • 指標類型：Double

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_SELECTION_ACCURACY

  • 儀表板位置：AI 代理器效能儀表板、AI 工具選擇準確性

評估條件：

此指標使用自動化 LLM 型評估，可分析 AI 代理器所做的每個工具呼叫。根據下列條件，每個工具呼叫的評分都是正確或不正確：

  • 適當性：所選工具是否適合滿足客戶的請求？

  • 必要性：AI 代理器是否避免不必要的或不正確的工具呼叫？

  • 最佳選擇：AI 代理器是否遺漏了更適當的工具？

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

AI 工具使用率準確性

此指標會測量 AI 代理器正確工具使用率的速率，包括適當的參數和選擇。值介於 0-1 之間，其中 1 表示完美使用率。

  • 指標類型：Double

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AI_TOOL_UTILIZATION_ACCURACY

  • 儀表板位置：AI 代理器效能儀表板、AI 工具使用率準確性

評估條件：

此指標是 AI 工具選擇準確度和 AI 工具參數準確度的合併分數。

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

平均 AI 代理程式對話輪換

此指標會測量 AI 代理器為了達到成果所採取的平均對話周轉次數。

  • 指標類型：Double

  • 指標類別：AI 代理器

  • GetMetricDataV2 API 指標識別碼：AVG_AI_AGENT_CONVERSATION_TURNS

  • 儀表板位置：AI Agent Performance Dashboard、Avg. AI 代理程式對話輪流

平均 AI 對話輪換

此指標會測量所有 AI 相關聯絡人的平均對話周轉次數。

  • 指標類型：Double

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：AVG_AI_CONVERSATION_TURNS

  • 儀表板位置：AI Agent Performance Dashboard、Avg. AI 對話輪換

平均 AI 提示叫用延遲

此指標測量 AI 提示的平均調用延遲，以毫秒為單位。

  • 指標類型：Double

  • 指標類別：AI 提示

  • GetMetricDataV2 API 指標識別碼：AVG_AI_PROMPT_INVOCATION_LATENCY

  • 儀表板位置：AI Agent Performance Dashboard、Avg. AI 提示調用延遲

平均 AI 工具調用延遲

此指標會以毫秒為單位測量 AI 工具的平均調用延遲。

  • 指標類型：Double

  • 指標類別：AI 工具

  • GetMetricDataV2 API 指標識別碼：AVG_AI_TOOL_INVOCATION_LATENCY

  • 儀表板位置：AI Agent Performance Dashboard、Avg. AI 工具調用延遲

完整性分數

此指標會測量協調 AI 代理程式回應完全處理客戶請求的所有部分，而不是提供部分或不完整答案的工作階段比例。值介於 0-1 之間，其中 1 表示所有工作階段的完整回應。

  • 指標類型：Double

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：COMPLETENESS_SCORE

  • 儀表板位置：AI Agent Performance Dashboard、Avg. 完整性分數

評估條件：

此指標使用以 LLM 為基礎的自動化評估，分析每個客戶轉彎和 AI 代理器的回應。當客戶訊息包含多個請求或問題時，評估會檢查是否已處理每個請求或問題。使用以下條件評估此指標：

  • 多請求涵蓋範圍：代理是否在單一回合內識別並處理所有明確請求？

  • 涵蓋的定義：每個請求是否因為政策/限制而直接回答、確認意圖採取行動，或無法解釋？

  • 立即回應範圍：僅在評估下一個訊息之前，代理程式的回應；之後的解析不會追溯計數

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

宗教分數

此指標會測量協調 AI 代理程式回應仍忠於對話內容的工作階段比例，包括訊息和工具呼叫結果。值介於 0-1 之間，其中 1 表示完美的內容逼真度。

  • 指標類型：Double

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：FAITHFULNESS_SCORE

  • 儀表板位置：AI Agent Performance Dashboard、Avg. 宗教分數

評估條件：

此指標使用自動化 LLM 型評估，根據對話內容分析每個 AI 代理程式回應。每個回應都會根據下列條件評估是否忠實，並檢查是否出現幻覺：

  • 代表的準確性：回應是否準確代表對話內容中的資訊？

  • 一致性：回應是否與對話中所述的事實保持一致？

  • 支援的推論：回應做出的任何推論是否受到內容的合理支援？

  • 正確的屬性：回應是否正確地將陳述式和資訊歸因於對話中的正確來源，而不會製造或使宣告不一致？

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

目標成功率

此指標會測量協調 AI 代理程式成功解決客戶問題的工作階段比例。值介於 0-1 之間，其中 1 表示成功解析所有工作階段。

  • 指標類型：Double

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：GOAL_SUCCESS_RATE

  • 儀表板位置：AI 客服人員效能儀表板、目標成功率

評估條件：

此指標使用自動化 LLM 型評估，可分析每個 AI 代理程式工作階段的完整對話追蹤。根據四個維度，每個工作階段都會計為成功或不成功：

  • 目標達成：AI 代理器是否滿足客戶的主要目標？

  • 結果品質：最終結果是否正確且無錯誤？

  • 完整性：是否已處理請求的所有層面？

  • 適當性：AI 代理器是否使用適當的工具和方法？

注意

此指標每 24 小時更新一次。此指標是 Connect Customer AI 的一部分。

知識內容參考

此指標會測量 AI 代理器參考的知識內容文章計數。

  • 指標類型：整數

  • 指標類別：AI 知識庫

  • GetMetricDataV2 API 指標識別碼：KNOWLEDGE_CONTENT_REFERENCES

  • 儀表板位置：AI Agent 效能儀表板、知識庫參考計數

已回答的主動意圖

此指標測量 AI 代理器在 AI 工作階段期間成功回應的主動意圖 （客戶查詢） 數量。

  • 指標類型：整數

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：PROACTIVE_INTENTS_ANSWERED

偵測到主動意圖

此指標會測量 AI 工作階段期間偵測到的主動意圖 （客戶查詢） 數量，特別是客服人員協助使用案例。

  • 指標類型：整數

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：PROACTIVE_INTENTS_DETECTED

參與的主動意圖

此指標測量人工客服人員在 AI 工作階段期間與 互動的主動意圖 （客戶查詢） 數量。

  • 指標類型：整數

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：PROACTIVE_INTENTS_ENGAGED

主動意圖參與率

此指標會測量人力客服人員按一下或與其互動的偵測到主動意圖的百分比。

  • 指標類型：百分比

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：PROACTIVE_INTENT_ENGAGEMENT_RATE

  • 儀表板位置：AI 客服人員效能儀表板、主動意圖參與率

主動意圖回應率

此指標會測量 AI 代理器成功履行的參與主動意圖百分比。

  • 指標類型：百分比

  • 指標類別：AI 工作階段

  • GetMetricDataV2 API 指標識別碼：PROACTIVE_INTENT_RESPONSE_RATE