本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
AI 代理性能仪表板
您可以使用 AI 代理性能仪表板来查看 AI 代理的性能,并获得有关 AI 代理和一段时间内的见解。
仪表板为查看 AI 代理的汇总性能提供了一个地方。使用仪表板查看您的 AI 代理指标,例如调用次数、延迟和成功率。
内容
启用控制面板访问权限
确保为用户分配了相应的安全配置文件权限:
访问指标-访问权限或控制面板-访问权限。有关行为差异的信息,请参阅 在 Connect Customer 中分配查看仪表板和报告的权限。
要访问 AI 代理性能控制面板,至少需要以下安全配置文件权限之一:
-
AI 代理设计器 — AI 代理查看权限
-
AI 代理设计器 — AI 提示查看权限
-
AI 代理设计师 — AI 护栏查看权限
-
代理应用程序-连接助手查看权限
该仪表板可在以下网址获得:分析和优化 > 分析仪表板 > AI 代理性能。
指定“时间范围”和“对比”基准
使用时间范围筛选器指定要在仪表板中查看数据的日期和时间段。
默认情况下,仪表板显示上周的数据。您可以自定义时间范围以查看最近 15 分钟的数据或最多 3 个月的历史数据。
使用 “比较对象” 筛选器选择要与当前数据进行比较的时间段。使用 “比较对象” 筛选器,您可以识别趋势并跟踪一段时间内的改进或问题。
Self-service AI 性能摘要
本部分显示您 AI-Agent 发起的 Self-Service 互动的运行状况。它显示了按 “自助服务” 用例筛选的所选时间段内的以下关键指标:
-
AI 涉及的联系人:
AI 代理在不涉及人工代理的情况下解决客户查询时处理的联系总数。
-
活跃的 AI 代理:
唯一 AI 代理的总数,其中每个代理通过其唯一的名称和版本组合来识别。
-
回复完成率:
成功响应传入请求的 AI 代理会话的百分比。
-
移交率:
由人工智能代理处理的被标记为需要额外支持(包括但不限于人工代理)的自助服务联系的百分比。
-
目标成功率:
AI 代理成功解决客户问题的会话比例。值介于 0-1 之间,其中 1 表示成功解决了所有会话。
-
忠诚度分数:
忠实于对话环境(包括消息和工具调用结果)的 AI 代理响应比例。值介于 0-1 之间,其中 1 表示完美的上下文保真度。
下图显示了示例 Self-service AI 性能摘要图表。
代理协助 AI 性能摘要
此小工具显示您的代理辅助交互的运行状况,其中 AI 为人工代理提供支持。它显示了按 “代理协助” 用例筛选的所选时间段内的以下关键指标。
-
AI 涉及的联系人:
AI 代理协助人工代理解决客户查询的联系人总数。
-
活跃的 AI 代理:
唯一 AI 代理的总数,其中每个代理通过其唯一的名称和版本组合来识别。
-
回复完成率:
成功响应传入请求的 AI 代理会话的百分比。
-
主动意图参与率:
人工代理点击检测到的主动意图的百分比。
-
忠诚度分数:
忠实于对话环境(包括消息和工具调用结果)的 AI 代理响应比例。值介于 0-1 之间,其中 1 表示完美的上下文保真度。
下图显示了代理协助 AI 性能摘要图表示例。
AI 代理性能
此表提供了从用例到单个代理版本的 AI 代理性能及其关键性能指标的深入视图。
该表显示了两个级别的性能指标:
-
AI 用例级别:
一个用例(终端客户自助服务、代理协助)中所有代理版本的汇总指标。
-
AI 代理版本级别:
每个代理版本的单独性能指标。
您可以展开或折叠用例行以深入了解特定的代理版本。要了解每个版本如何影响整体用例性能,请查看每个代理版本行的各个指标。
显示的指标:
-
AI 代理调用次数:
调用 AI 代理版本的总次数。
-
AI 代理调用成功率:
成功执行的 AI 代理调用的百分比。
-
平均 AI 代理的对话变成:
AI 代理为得出结果所花费的平均对话次数。
-
有用的回复:
竖起大拇指后被评为有用的 AI 建议的数量。
-
无济于事的回复:
按下大拇指被评为无用的 AI 建议的数量。
-
刀具使用精度:
AI 代理正确使用工具的比率。值介于 0-1 之间,其中 1 表示完美使用。
-
刀具选择精度:
AI 代理选择正确工具的比率。值介于 0-1 之间,其中 1 表示最佳选择。
-
刀具参数精度:
AI 代理提供正确参数时的工具调用速率。值介于 0-1 之间,其中 1 表示完美的参数精度。
下图显示了示例 AI 代理性能表。
按调用成功率划分的 AI 代理
AI 代理按调用成功率图表显示每个 AI 代理的调用成功率。您可以通过直接从此图表中筛选特定的 AI 代理、AI 代理类型、AI 用例或其他维度来进一步配置此小部件。
下图显示了按调用成功率统计的 AI 代理示例。
知识库用法
此表提供了您的 AI 代理引用的知识库文章的深入视图。您可以按 AI 代理类型和 AI 代理行进行扩展,深入了解特定的知识库名称,以查看 AI 代理引用知识库的次数。
显示的指标:
-
参考次数 — AI 代理引用文章的次数。
下图显示了知识库使用表示例。
AI 代理性能趋势
AI 代理性能趋势是一个时间序列图表,显示了按间隔(15 分钟、每天、每周、每月)细分的给定时间段内的 AI 代理调用成功率(蓝条)、忠诚度分数(红线)和工具使用精度(绿线)。您可以直接使用小部件中的“间隔”按钮来配置不同的时间范围间隔。您可以选择的时间间隔取决于页面级别的时间范围过滤器。
例如:
-
如果您在仪表板上选择 “今天” 时间范围过滤器,则只能看到过去 24 小时的 15 分钟间隔。
-
如果您在控制面板上选择 “天” 时间范围过滤器,则可以看到过去的 8 天间隔趋势或过去 24 小时的 15 分钟间隔趋势。
-
如果您在仪表板上选择 “周” 时间范围过滤器,则可以查看每日或每周间隔趋势。
-
如果您在仪表板上选择 “月” 时间范围过滤器,则可以查看每日或每月间隔趋势。
下图显示了示例 AI 代理性能趋势图。
人工智能工具的使用
此表比较了工具实现(例如,MCP-模型上下文协议 Return-to-Control)的调用、平均延迟和调用成功率以及工具使用准确性。
例如,您可以选择 AI 代理类型(例如 Orchestration 或 Answer Recommendation),然后查看不同工具及其版本在该代理类型中的性能。您可以使用 AI 工具调用次数、AI 工具调用成功率或 Avg 对列进行排序,从而确定哪些工具版本需要优化。AI 工具调用延迟。
该表显示了三个级别的性能指标:
-
AI 代理类型级别:
代理类型中所有工具和版本的汇总指标。
-
AI 工具类型级别:
特定工具类型的所有版本的汇总指标。
-
人工智能工具:
每个工具版本的单独性能指标。
您可以展开或折叠 AI 代理类型和工具类型行,以深入了解特定的工具版本。要了解每个版本对整体工具类型性能的贡献,请查看每个工具版本行的各个指标。
显示的指标:
-
AI 工具调用次数:
调用 AI 工具版本的总次数。
-
平均 AI 工具调用延迟:
工具版本的平均调用延迟(以毫秒为单位)。
-
AI 工具调用成功率:
成功执行的 AI 工具调用的百分比。
-
刀具使用精度:
AI 代理正确使用工具的比率。值介于 0-1 之间,其中 1 表示完美使用。
-
刀具选择精度:
AI 代理选择正确工具的比率。值介于 0-1 之间,其中 1 表示最佳选择。
-
刀具参数精度:
AI 代理提供正确参数时的工具调用速率。值介于 0-1 之间,其中 1 表示完美的参数精度。
下图显示了示例 AI 工具使用表。
AI 即时性能
此表提供了 AI 提示性能的深入视图。您可以扩展 AI 代理类型和提示类型行,以深入了解特定的提示版本。要查看每个版本对整体提示类型性能的贡献,请查看每个提示版本行的各个指标。
该表显示了三个级别的性能指标:
-
AI 代理类型级别:
AI 代理类型的所有提示和版本的汇总指标。
-
AI 提示类型级别:
特定 AI 提示类型的所有版本的汇总指标。
-
AI 提示版本级别:
每个 AI 提示版本的单独性能指标。
显示的指标:
-
AI 提示调用次数:
调用 AI 提示版本的总次数。
-
AI 提示调用成功率:
成功执行的 AI 提示调用的百分比。
-
平均 AI 提示调用延迟:
AI 提示版本的平均调用延迟(以毫秒为单位)。
除了使用页面筛选器外,您还可以在表格中为特定的 AI 代理、AI 提示、时间范围或其他维度添加筛选器。
下图显示了示例 AI 提示性能表。
主动意图趋势
主动意图趋势图显示了按间隔(15 分钟、每天、每周、每月)细分的给定时间段内检测到的主动意图(蓝条)、主动意图参与率(红线)和主动意图响应率(绿线)。您可以直接使用小部件中的“间隔”按钮来配置不同的时间范围间隔。您可以选择的时间间隔取决于页面级别的时间范围过滤器。
显示的指标:
-
检测到主动意图:
在 AI 会话期间检测到的主动意图(客户查询)数量,适用于代理协助用例。
-
主动意图参与率:
针对代理协助用例,人工代理点击或参与的主动 Intent 的检测到的百分比。
-
主动意图响应率:
对于代理协助用例,AI 代理成功实现的主动意图的参与百分比。
下图显示了主动意图趋势图示例。
AI 按调用延迟进行提示
AI 按调用延迟提示图表显示每个 AI 提示的平均调用延迟(以毫秒为单位)。您可以通过直接从此图表中筛选特定的 AI 提示、AI 提示类型、AI 代理、AI 代理类型、AI 用例或其他维度来进一步配置此小部件。
下图显示了按调用延迟排列的 AI 提示示例。
AI 按调用成功率进行提示
AI 按调用成功率提示图表显示每个 AI 提示的调用成功率。您可以通过直接从此图表中筛选特定的 AI 提示、AI 提示类型、AI 代理、AI 代理类型、AI 用例或其他维度来进一步配置此小部件。
下图显示了 AI 提示示例(按调用成功率图表)。