View a markdown version of this page

AI 代理指标 - Amazon Connect Customer
活跃的 AI 代理AI 代理调用AI 代理调用成功AI 代理调用成功率AI 代理响应很有用AI 代理响应无济于事AI HandoffsAI 切换率AI 响应完成率涉及 AI 的联系人AI 提示调用成功AI 提示调用成功率AI 提示调用AI 工具调用成功AI 工具调用成功率AI 工具调用AI 工具参数精度AI 工具选择精度AI 工具利用率精度AI 代理对话的平均周转率AI 对话的平均周转率AI 提示调用平均延迟AI 工具平均调用延迟完整性分数忠诚度分数进球成功率知识内容参考主动意图已得到回应检测到主动意图积极主动的意图参与进来主动意图参与率主动意图响应率

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

AI 代理指标

以下指标可用于监控 AI 代理性能。有关创建 AI 代理的信息，请参阅创建 AI 代理。有关创建 AI 提示的信息，请参阅创建 AI 提示。有关 AI 代理 MCP 工具的信息，请参阅AI 代理 MCP 工具。

活跃的 AI 代理

该指标衡量唯一 AI 代理的总数，其中每个 AI 代理都通过其唯一的名称和版本组合进行标识。

  • 指标类型：整数

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：ACTIVE_AI_AGENTS

  • 仪表板位置：AI 代理性能控制面板、活跃 AI 代理

AI 代理调用

该指标衡量每个实例在所有 AI 代理上调用的 AI 代理总数。

  • 指标类型：整数

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AI_AGENT_INVOCATIONS

  • 仪表板位置：AI 代理性能控制面板、AI 代理调用次数

AI 代理调用成功

该指标衡量在未出现技术故障（例如 API 错误、超时或系统问题）的情况下成功执行的 AI 代理调用的数量。

  • 指标类型：整数

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AI_AGENT_INVOCATION_SUCCESS

AI 代理调用成功率

该指标衡量在没有技术故障的情况下成功执行的 AI Agent 调用的百分比。

  • 指标类型：百分比

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AI_AGENT_INVOCATION_SUCCESS_RATE

  • 仪表板位置：AI 代理性能控制面板、AI 代理调用成功率

AI 代理响应很有用

该指标衡量了被评为有用的 AI 建议数量，但需竖起大拇指。

  • 指标类型：整数

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AI_AGENT_RESPONSE_HELPFUL

  • 仪表板位置：AI 代理性能控制面板，AI 代理响应有用

注意

此指标每 6 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

AI 代理响应无济于事

该指标衡量的是竖起大拇指被评为无济于事的 AI 建议数量。

  • 指标类型：整数

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AI_AGENT_RESPONSE_NOT_HELPFUL

  • 仪表板位置：AI 代理性能控制面板，AI 代理响应无济于事

注意

此指标每 6 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

AI Handoffs

该指标衡量 AI 代理处理的、已升级到人工代理的联系总数。该指标特别适用于 AI 代理最初处理客户查询的自助服务用例。

  • 指标类型：整数

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：AI_HANDOFFS

AI 切换率

该指标衡量 AI 代理处理的已升级到人工代理或获得额外支持的联系的百分比。

  • 指标类型：百分比

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：AI_HANDOFF_RATE

  • 仪表板位置：AI Agent 性能控制面板、移交率

AI 响应完成率

该指标衡量成功响应传入客户请求的 AI 会话的百分比。

  • 指标类型：百分比

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：AI_RESPONSE_COMPLETION_RATE

  • 控制板位置：AI 代理性能控制面板、响应完成率

涉及 AI 的联系人

该指标衡量了涉及 AI Agen t 的客户联系总数，这些联系人要么提供自助服务自动化，要么协助人工代理解决客户查询。

  • 指标类型：整数

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：AI_INVOLVED_CONTACTS

  • 仪表板位置：AI 代理绩效控制面板、AI 相关联系人

AI 提示调用成功

该指标衡量成功执行且没有出错的 AI Prompt 调用的数量。

  • 指标类型：整数

  • 指标类别：AI 提示

  • GetMetricDataV2 API 指标标识符：AI_PROMPT_INVOCATION_SUCCESS

AI 提示调用成功率

该指标衡量成功执行的 AI Promp t 调用的百分比。

  • 指标类型：百分比

  • 指标类别：AI 提示

  • GetMetricDataV2 API 指标标识符：AI_PROMPT_INVOCATION_SUCCESS_RATE

  • 仪表板位置：AI 代理性能控制面板、AI 提示调用成功率

AI 提示调用

该指标衡量 AI Prompt 调用的总数。

  • 指标类型：整数

  • 指标类别：AI 提示

  • GetMetricDataV2 API 指标标识符：AI_PROMPT_INVOCATIONS

  • 仪表板位置：AI 代理性能控制面板、AI 提示调用次数

AI 工具调用成功

该指标衡量成功执行的 AI Tool 调用的总数。

  • 指标类型：整数

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_INVOCATION_SUCCESS

AI 工具调用成功率

该指标衡量成功执行的 AI Tool 调用的百分比。

  • 指标类型：百分比

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_INVOCATION_SUCCESS_RATE

  • 仪表板位置：AI 代理性能控制面板、AI 工具调用成功率

AI 工具调用

该指标衡量 AI 工具调用的总次数。

  • 指标类型：整数

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_INVOCATIONS

  • 仪表板位置：AI 代理性能控制面板、AI 工具调用次数

AI 工具参数精度

该指标衡量 AI 代理提供正确参数的工具调用率。值介于 0-1 之间，其中 1 表示完美的参数精度。

  • 指标类型：双精度

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_PARAMETER_ACCURACY

  • 仪表板位置：AI 代理性能控制面板、AI 工具参数精度

评估标准：

该指标使用自动 LLM-based 评估，根据对话上下文和工具的参数定义分析传递给每个工具调用的参数。根据以下标准，每个工具调用都被评为正确或不正确：

  • Presence：是否存在所有必需的参数并正确填充？

  • 准确性：参数值是否由对话上下文明确证实，而不是推断或假设？

  • 精度：是否包含任何额外的、无关的或虚构的参数？

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

AI 工具选择精度

该指标衡量 AI Agen t 正确选择工具的比率。值介于 0-1 之间，其中 1 表示最佳选择。

  • 指标类型：双精度

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_SELECTION_ACCURACY

  • 仪表板位置：AI 代理性能控制面板、AI 工具选择精度

评估标准：

该指标使用自动 LLM-based 评估来分析 AI 代理发出的每个工具调用。根据以下标准，每个工具调用都被评为正确或不正确：

  • 适当性：所选工具是否适合满足客户的要求？

  • 必要性：AI 代理是否避免了不必要或不正确的工具调用？

  • 最佳选择：是否有 AI 代理错过的更合适的工具可用？

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

AI 工具利用率精度

该指标衡量 AI 代理正确使用工具的比率，包括正确的参数和选择。值介于 0-1 之间，其中 1 表示充分利用率。

  • 指标类型：双精度

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AI_TOOL_UTILIZATION_ACCURACY

  • 仪表板位置：AI 代理性能控制面板、AI 工具利用率精度

评估标准：

该指标是 AI 工具选择精度和 AI 工具参数精度的综合得分。

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

AI 代理对话的平均周转率

该指标衡量 AI Agen t 为获得结果所花费的平均对话轮次数。

  • 指标类型：双精度

  • 指标类别：AI 代理

  • GetMetricDataV2 API 指标标识符：AVG_AI_AGENT_CONVERSATION_TURNS

  • 仪表板位置：AI 代理性能控制面板，平均 AI 代理对话转向

AI 对话的平均周转率

该指标衡量了所有涉及 AI 的联系人的平均对话次数。

  • 指标类型：双精度

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：AVG_AI_CONVERSATION_TURNS

  • 仪表板位置：AI 代理性能控制面板，平均 人工智能对话转向

AI 提示调用平均延迟

该指标衡量 AI Prompts 的平均调用延迟（以毫秒为单位）。

  • 指标类型：双精度

  • 指标类别：AI 提示

  • GetMetricDataV2 API 指标标识符：AVG_AI_PROMPT_INVOCATION_LATENCY

  • 仪表板位置：AI 代理性能控制面板，平均 AI 提示调用延迟

AI 工具平均调用延迟

该指标衡量 AI 工具的平均调用延迟（以毫秒为单位）。

  • 指标类型：双精度

  • 指标类别：AI 工具

  • GetMetricDataV2 API 指标标识符：AVG_AI_TOOL_INVOCATION_LATENCY

  • 仪表板位置：AI 代理性能控制面板，平均 AI 工具调用延迟

完整性分数

该指标衡量的是 Orchestration AI Agent 响应完全解决客户请求的所有部分，而不是提供部分或不完整答案的会话比例。值介于 0-1 之间，其中 1 表示所有会话的完整响应。

  • 指标类型：双精度

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：COMPLETENESS_SCORE

  • 仪表板位置：AI 代理性能控制面板，平均 完整性分数

评估标准：

该指标使用自动 LLM-based 评估来分析每个客户回合和 AI 代理的响应。当客户留言中包含多个请求或问题时，评估会检查每个请求或问题是否已得到解决。该指标使用以下标准进行评估：

  • Multi-request 覆盖范围：代理是否在一回合内识别并处理了所有明确的请求？

  • 承@@ 保范围的定义：每项请求要么直接得到答复，要么是为了采取行动而得到承认，要么被解释为不可能，是由于以下原因而被解释为不可能 policy/constraints？

  • 即时响应范围：仅评估下一条消息之前代理的回复；以后的解决方案不追溯计算

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

忠诚度分数

该指标衡量 Orchestration AI Agent 响应与对话上下文保持忠实的会话比例，包括消息和工具调用结果。值介于 0-1 之间，其中 1 表示完美的上下文保真度。

  • 指标类型：双精度

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：FAITHFULNESS_SCORE

  • 仪表板位置：AI 代理性能控制面板，平均 忠诚度分数

评估标准：

该指标使用自动 LLM-based 评估，根据对话上下文分析每个 AI 代理的响应。根据以下标准对每种反应的忠诚度进行评估，并检查是否存在幻觉：

  • 表述的准确性：回复是否准确地代表了对话背景中的信息？

  • 一致性：回应是否与对话中陈述的事实保持一致？

  • 支持的推论：响应做出的任何推断是否得到上下文的合理支持？

  • 正确的归因：回复是否正确地将陈述和信息归因于对话中的正确来源，而不会捏造或错位主张？

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

进球成功率

该指标衡量 Orchestration AI 代理成功解决客户问题的会话比例。值介于 0-1 之间，其中 1 表示成功解决了所有会话。

  • 指标类型：双精度

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：GOAL_SUCCESS_RATE

  • 仪表板位置：AI Agent 性能控制面板、目标成功率

评估标准：

该指标使用自动 LLM-based 评估来分析每个 AI 代理会话的完整对话跟踪。根据四个维度，每个会话都被评为成功或失败：

  • 目标实现：AI 代理是否实现了客户的主要目标？

  • 结果质量：最终结果是否准确且没有错误？

  • 完整性：请求的各个方面都得到了解决吗？

  • 适当性：AI 代理是否使用了合适的工具和方法？

注意

此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

知识内容参考

该指标衡量 AI 代理引用的知识内容文章数量。

  • 指标类型：整数

  • 指标类别：AI 知识库

  • GetMetricDataV2 API 指标标识符：KNOWLEDGE_CONTENT_REFERENCES

  • 仪表板位置：AI Agent 性能控制面板、知识库参考计数

主动意图已得到回应

该指标衡量 AI 代理在 AI 会话期间成功回答的主动意图（客户查询）的数量。

  • 指标类型：整数

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：PROACTIVE_INTENTS_ANSWERED

检测到主动意图

该指标衡量在 AI 会话期间检测到的主动意图（客户查询）的数量，尤其是在座席协助用例中。

  • 指标类型：整数

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：PROACTIVE_INTENTS_DETECTED

积极主动的意图参与进来

该指标衡量人工智能会话期间人工代理参与的主动意图（客户查询）的数量。

  • 指标类型：整数

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：PROACTIVE_INTENTS_ENGAGED

主动意图参与率

该指标衡量检测到的主动意图被人工代理点击或参与的百分比。

  • 指标类型：百分比

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：PROACTIVE_INTENT_ENGAGEMENT_RATE

  • 仪表板位置：AI 代理性能控制面板、主动意图参与率

主动意图响应率

该指标衡量 AI Ag ent 成功实现的积极主动意图的百分比。

  • 指标类型：百分比

  • 指标类别：AI 会话

  • GetMetricDataV2 API 指标标识符：PROACTIVE_INTENT_RESPONSE_RATE