本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# AI 代理指标
<a name="ai-agent-metrics"></a>

以下指标可用于监控 AI 代理性能。有关创建 AI 代理的信息，请参阅[创建 AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)。有关创建 AI 提示的信息，请参阅[创建 AI 提示](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-prompts.html)。有关 AI 代理 MCP 工具的信息，请参阅[AI 代理 MCP 工具](ai-agent-mcp-tools.md)。

**Topics**
+ [活跃的 AI 代理](#metric-active-ai-agents)
+ [AI 代理调用](#metric-ai-agent-invocations)
+ [AI 代理调用成功](#metric-ai-agent-invocation-success)
+ [AI 代理调用成功率](#metric-ai-agent-invocation-success-rate)
+ [AI 代理响应很有用](#metric-ai-agent-response-helpful)
+ [AI 代理响应无济于事](#metric-ai-agent-response-not-helpful)
+ [AI Handoffs](#metric-ai-handoffs)
+ [AI 切换率](#metric-ai-handoff-rate)
+ [AI 响应完成率](#metric-ai-response-completion-rate)
+ [涉及 AI 的联系人](#metric-ai-involved-contacts)
+ [AI 提示调用成功](#metric-ai-prompt-invocation-success)
+ [AI 提示调用成功率](#metric-ai-prompt-invocation-success-rate)
+ [AI 提示调用](#metric-ai-prompt-invocations)
+ [AI 工具调用成功](#metric-ai-tool-invocation-success)
+ [AI 工具调用成功率](#metric-ai-tool-invocation-success-rate)
+ [AI 工具调用](#metric-ai-tool-invocations)
+ [AI 工具参数精度](#metric-ai-tool-parameter-accuracy)
+ [AI 工具选择精度](#metric-ai-tool-selection-accuracy)
+ [AI 工具利用率精度](#metric-ai-tool-utilization-accuracy)
+ [AI 代理对话的平均周转率](#metric-avg-ai-agent-conversation-turns)
+ [AI 对话的平均周转率](#metric-avg-ai-conversation-turns)
+ [AI 提示调用平均延迟](#metric-avg-ai-prompt-invocation-latency)
+ [AI 工具平均调用延迟](#metric-avg-ai-tool-invocation-latency)
+ [完整性分数](#metric-completeness-score)
+ [忠诚度分数](#metric-faithfulness-score)
+ [进球成功率](#metric-goal-success-rate)
+ [知识内容参考](#metric-knowledge-content-references)
+ [主动意图已得到回应](#metric-proactive-intents-answered)
+ [检测到主动意图](#metric-proactive-intents-detected)
+ [积极主动的意图参与进来](#metric-proactive-intents-engaged)
+ [主动意图参与率](#metric-proactive-intent-engagement-rate)
+ [主动意图响应率](#metric-proactive-intent-response-rate)

## 活跃的 AI 代理
<a name="metric-active-ai-agents"></a>

该指标衡量唯一 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)的总数，其中每个 AI 代理都通过其唯一的名称和版本组合进行标识。
+ **指标类型**：整数
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`ACTIVE_AI_AGENTS`
+ **仪表板位置：**AI 代理性能控制面板、活跃 AI 代理

## AI 代理调用
<a name="metric-ai-agent-invocations"></a>

该指标衡量每个实例在所有 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)上调用的 AI 代理总数。
+ **指标类型**：整数
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AI_AGENT_INVOCATIONS`
+ **仪表板位置：**AI 代理性能控制面板、AI 代理调用次数

## AI 代理调用成功
<a name="metric-ai-agent-invocation-success"></a>

该指标衡量在未出现技术故障（例如 API 错误、超时或系统问题）的情况下成功执行的 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)调用的数量。
+ **指标类型**：整数
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AI_AGENT_INVOCATION_SUCCESS`

## AI 代理调用成功率
<a name="metric-ai-agent-invocation-success-rate"></a>

该指标衡量在没有技术故障的情况下成功执行的 [AI Agent](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) 调用的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AI_AGENT_INVOCATION_SUCCESS_RATE`
+ **仪表板位置：**AI 代理性能控制面板、AI 代理调用成功率

## AI 代理响应很有用
<a name="metric-ai-agent-response-helpful"></a>

该指标衡量了被评为有用的 AI 建议数量，但需竖起大拇指。
+ **指标类型**：整数
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AI_AGENT_RESPONSE_HELPFUL`
+ **仪表板位置：**AI 代理性能控制面板，AI 代理响应有用

**注意**  
此指标每 6 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## AI 代理响应无济于事
<a name="metric-ai-agent-response-not-helpful"></a>

该指标衡量的是竖起大拇指被评为无济于事的 AI 建议数量。
+ **指标类型**：整数
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AI_AGENT_RESPONSE_NOT_HELPFUL`
+ **仪表板位置：**AI 代理性能控制面板，AI 代理响应无济于事

**注意**  
此指标每 6 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## AI Handoffs
<a name="metric-ai-handoffs"></a>

该指标衡量 AI 代理处理的、已升级到[人工代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)的联系总数。该指标特别适用于 AI 代理最初处理客户查询的自助服务用例。
+ **指标类型**：整数
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`AI_HANDOFFS`

## AI 切换率
<a name="metric-ai-handoff-rate"></a>

该指标衡量 AI 代理处理的已升级到[人工代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)或获得额外支持的联系的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`AI_HANDOFF_RATE`
+ **仪表板位置：**AI Agent 性能控制面板、移交率

## AI 响应完成率
<a name="metric-ai-response-completion-rate"></a>

该指标衡量成功响应传入客户请求的 AI 会话的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`AI_RESPONSE_COMPLETION_RATE`
+ **控制板位置：**AI 代理性能控制面板、响应完成率

## 涉及 AI 的联系人
<a name="metric-ai-involved-contacts"></a>

该指标衡量了涉及 [AI Agen](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) t 的客户联系总数，这些联系人要么提供自助服务自动化，要么协助人工代理解决客户查询。
+ **指标类型**：整数
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`AI_INVOLVED_CONTACTS`
+ **仪表板位置：**AI 代理绩效控制面板、AI 相关联系人

## AI 提示调用成功
<a name="metric-ai-prompt-invocation-success"></a>

该指标衡量成功执行且没有出错的 [AI](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-prompts.html) Prompt 调用的数量。
+ **指标类型**：整数
+ **指标类别：**AI 提示
+ **GetMetricDataV2 API 指标标识符：**`AI_PROMPT_INVOCATION_SUCCESS`

## AI 提示调用成功率
<a name="metric-ai-prompt-invocation-success-rate"></a>

该指标衡量成功执行的 [AI Promp](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-prompts.html) t 调用的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 提示
+ **GetMetricDataV2 API 指标标识符：**`AI_PROMPT_INVOCATION_SUCCESS_RATE`
+ **仪表板位置：**AI 代理性能控制面板、AI 提示调用成功率

## AI 提示调用
<a name="metric-ai-prompt-invocations"></a>

该指标衡量 [AI Prompt 调用的](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-prompts.html)总数。
+ **指标类型**：整数
+ **指标类别：**AI 提示
+ **GetMetricDataV2 API 指标标识符：**`AI_PROMPT_INVOCATIONS`
+ **仪表板位置：**AI 代理性能控制面板、AI 提示调用次数

## AI 工具调用成功
<a name="metric-ai-tool-invocation-success"></a>

该指标衡量成功执行的 [AI Tool](https://docs.aws.amazon.com/connect/latest/adminguide/ai-agent-mcp-tools.html) 调用的总数。
+ **指标类型**：整数
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_INVOCATION_SUCCESS`

## AI 工具调用成功率
<a name="metric-ai-tool-invocation-success-rate"></a>

该指标衡量成功执行的 AI Tool 调用的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_INVOCATION_SUCCESS_RATE`
+ **仪表板位置：**AI 代理性能控制面板、AI 工具调用成功率

## AI 工具调用
<a name="metric-ai-tool-invocations"></a>

该指标衡量 AI 工具调用的总次数。
+ **指标类型**：整数
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_INVOCATIONS`
+ **仪表板位置：**AI 代理性能控制面板、AI 工具调用次数

## AI 工具参数精度
<a name="metric-ai-tool-parameter-accuracy"></a>

该指标衡量 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)提供正确参数的工具调用率。值介于 0-1 之间，其中 1 表示完美的参数精度。
+ **指标类型**：双精度
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_PARAMETER_ACCURACY`
+ **仪表板位置：**AI 代理性能控制面板、AI 工具参数精度

**评估标准：**

该指标使用自动 LLM-based 评估，根据对话上下文和工具的参数定义分析传递给每个工具调用的参数。根据以下标准，每个工具调用都被评为正确或不正确：
+ Presence**：是否存在**所有必需的参数并正确填充？
+ **准确性：**参数值是否由对话上下文明确证实，而不是推断或假设？
+ **精度：**是否包含任何额外的、无关的或虚构的参数？

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## AI 工具选择精度
<a name="metric-ai-tool-selection-accuracy"></a>

该指标衡量 [AI Agen](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) t 正确选择工具的比率。值介于 0-1 之间，其中 1 表示最佳选择。
+ **指标类型**：双精度
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_SELECTION_ACCURACY`
+ **仪表板位置：**AI 代理性能控制面板、AI 工具选择精度

**评估标准：**

该指标使用自动 LLM-based 评估来分析 AI 代理发出的每个工具调用。根据以下标准，每个工具调用都被评为正确或不正确：
+ **适当性：**所选工具是否适合满足客户的要求？
+ **必要性：**AI 代理是否避免了不必要或不正确的工具调用？
+ **最佳选择：**是否有 AI 代理错过的更合适的工具可用？

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## AI 工具利用率精度
<a name="metric-ai-tool-utilization-accuracy"></a>

该指标衡量 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)正确使用工具的比率，包括正确的参数和选择。值介于 0-1 之间，其中 1 表示充分利用率。
+ **指标类型**：双精度
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AI_TOOL_UTILIZATION_ACCURACY`
+ **仪表板位置：**AI 代理性能控制面板、AI 工具利用率精度

**评估标准：**

该指标是 AI 工具选择精度和 AI 工具参数精度的综合得分。

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## AI 代理对话的平均周转率
<a name="metric-avg-ai-agent-conversation-turns"></a>

该指标衡量 [AI Agen](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) t 为获得结果所花费的平均对话轮次数。
+ **指标类型**：双精度
+ **指标类别：**AI 代理
+ **GetMetricDataV2 API 指标标识符：**`AVG_AI_AGENT_CONVERSATION_TURNS`
+ **仪表板位置：**AI 代理性能控制面板，平均 AI 代理对话转向

## AI 对话的平均周转率
<a name="metric-avg-ai-conversation-turns"></a>

该指标衡量了所有涉及 AI 的联系人的平均对话次数。
+ **指标类型**：双精度
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`AVG_AI_CONVERSATION_TURNS`
+ **仪表板位置：**AI 代理性能控制面板，平均 人工智能对话转向

## AI 提示调用平均延迟
<a name="metric-avg-ai-prompt-invocation-latency"></a>

该指标衡量 [AI Prompts 的平均调用延迟（以毫秒](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-prompts.html)为单位）。
+ **指标类型**：双精度
+ **指标类别：**AI 提示
+ **GetMetricDataV2 API 指标标识符：**`AVG_AI_PROMPT_INVOCATION_LATENCY`
+ **仪表板位置：**AI 代理性能控制面板，平均 AI 提示调用延迟

## AI 工具平均调用延迟
<a name="metric-avg-ai-tool-invocation-latency"></a>

该指标衡量 AI 工具的平均调用延迟（以毫秒为单位）。
+ **指标类型**：双精度
+ **指标类别：**AI 工具
+ **GetMetricDataV2 API 指标标识符：**`AVG_AI_TOOL_INVOCATION_LATENCY`
+ **仪表板位置：**AI 代理性能控制面板，平均 AI 工具调用延迟

## 完整性分数
<a name="metric-completeness-score"></a>

该指标衡量的是 Orchestration [AI Agent](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) 响应完全解决客户请求的所有部分，而不是提供部分或不完整答案的会话比例。值介于 0-1 之间，其中 1 表示所有会话的完整响应。
+ **指标类型**：双精度
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`COMPLETENESS_SCORE`
+ **仪表板位置：**AI 代理性能控制面板，平均 完整性分数

**评估标准：**

该指标使用自动 LLM-based 评估来分析每个客户回合和 AI 代理的响应。当客户留言中包含多个请求或问题时，评估会检查每个请求或问题是否已得到解决。该指标使用以下标准进行评估：
+ **Multi-request 覆盖范围：**代理是否在一回合内识别并处理了所有明确的请求？
+ 承@@ **保范围的定义：**每项请求要么直接得到答复，要么是为了采取行动而得到承认，要么被解释为不可能，是由于以下原因而被解释为不可能 policy/constraints？
+ **即时响应范围：**仅评估下一条消息之前代理的回复；以后的解决方案不追溯计算

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## 忠诚度分数
<a name="metric-faithfulness-score"></a>

该指标衡量 Orchestration [AI Agent](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) 响应与对话上下文保持忠实的会话比例，包括消息和工具调用结果。值介于 0-1 之间，其中 1 表示完美的上下文保真度。
+ **指标类型**：双精度
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`FAITHFULNESS_SCORE`
+ **仪表板位置：**AI 代理性能控制面板，平均 忠诚度分数

**评估标准：**

该指标使用自动 LLM-based 评估，根据对话上下文分析每个 AI 代理的响应。根据以下标准对每种反应的忠诚度进行评估，并检查是否存在幻觉：
+ **表述的准确性：**回复是否准确地代表了对话背景中的信息？
+ **一致性：**回应是否与对话中陈述的事实保持一致？
+ **支持的推论：**响应做出的任何推断是否得到上下文的合理支持？
+ **正确的归因：**回复是否正确地将陈述和信息归因于对话中的正确来源，而不会捏造或错位主张？

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## 进球成功率
<a name="metric-goal-success-rate"></a>

该指标衡量 Orchestration [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)成功解决客户问题的会话比例。值介于 0-1 之间，其中 1 表示成功解决了所有会话。
+ **指标类型**：双精度
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`GOAL_SUCCESS_RATE`
+ **仪表板位置：**AI Agent 性能控制面板、目标成功率

**评估标准：**

该指标使用自动 LLM-based 评估来分析每个 AI 代理会话的完整对话跟踪。根据四个维度，每个会话都被评为成功或失败：
+ **目标实现：**AI 代理是否实现了客户的主要目标？
+ **结果质量：**最终结果是否准确且没有错误？
+ **完整性：**请求的各个方面都得到了解决吗？
+ **适当性：**AI 代理是否使用了合适的工具和方法？

**注意**  
此指标每 24 小时更新一次。该指标作为 Connect 客户 AI 的一部分提供。

## 知识内容参考
<a name="metric-knowledge-content-references"></a>

该指标衡量 [AI 代理](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html)引用的知识内容文章数量。
+ **指标类型**：整数
+ **指标类别：**AI 知识库
+ **GetMetricDataV2 API 指标标识符：**`KNOWLEDGE_CONTENT_REFERENCES`
+ **仪表板位置：**AI Agent 性能控制面板、知识库参考计数

## 主动意图已得到回应
<a name="metric-proactive-intents-answered"></a>

该指标衡量 [AI 代理在 AI](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) 会话期间成功回答的主动意图（客户查询）的数量。
+ **指标类型**：整数
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`PROACTIVE_INTENTS_ANSWERED`

## 检测到主动意图
<a name="metric-proactive-intents-detected"></a>

该指标衡量在 AI 会话期间检测到的主动意图（客户查询）的数量，尤其是在座席协助用例中。
+ **指标类型**：整数
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`PROACTIVE_INTENTS_DETECTED`

## 积极主动的意图参与进来
<a name="metric-proactive-intents-engaged"></a>

该指标衡量人工智能会话期间人工代理参与的主动意图（客户查询）的数量。
+ **指标类型**：整数
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`PROACTIVE_INTENTS_ENGAGED`

## 主动意图参与率
<a name="metric-proactive-intent-engagement-rate"></a>

该指标衡量检测到的主动意图被人工代理点击或参与的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`PROACTIVE_INTENT_ENGAGEMENT_RATE`
+ **仪表板位置：**AI 代理性能控制面板、主动意图参与率

## 主动意图响应率
<a name="metric-proactive-intent-response-rate"></a>

该指标衡量 [AI Ag](https://docs.aws.amazon.com/connect/latest/adminguide/create-ai-agents.html) ent 成功实现的积极主动意图的百分比。
+ **指标类型**：百分比
+ **指标类别：**AI 会话
+ **GetMetricDataV2 API 指标标识符：**`PROACTIVE_INTENT_RESPONSE_RATE`