本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
AI 代理性能控制面板
您可以使用 AI 代理性能仪表板查看 AI 代理的性能,并获得有关 AI 代理和一段时间内的见解。
仪表板提供了一个查看汇总的 AI 代理性能的地方。使用控制面板查看您的 AI Agent 指标,例如调用次数、延迟和成功率。
内容
启用控制面板访问权限
确保为用户分配了相应的安全配置文件权限:
访问指标 - 访问权限或控制面板 - 访问权限。有关行为差异的信息,请参阅 分配在 Amazon Connect 中查看控制面板和报告的权限。
要访问 AI Agent 性能控制面板,至少需要以下安全配置文件权限之一:
-
AI 代理设计者-AI 代理查看权限
-
AI 代理设计者-AI 提示查看权限
-
AI 代理设计师-AI 护栏查看权限
-
代理应用程序-Connect 助手查看权限
该仪表板可在以下位置获得:分析和优化 > 分析仪表板 > AI 代理性能。
指定“时间范围”和“对比”基准
使用时间范围筛选器指定要在仪表板中查看数据的日期和时间段。
默认情况下,控制面板显示上周的数据。您可以自定义时间范围,查看最近 15 分钟的数据或最多 3 个月的历史数据。
使用 “比较” 筛选器选择用于比较当前数据的时间段。这使您可以识别趋势并跟踪一段时间内的改进或问题。
自助服务 AI 性能摘要
本部分显示您的 AI 代理发起的自助服务交互的运行状况。它显示了按'自助服务'用例筛选的选定时间段内的以下关键指标:
-
涉及人工智能的联系人:
人工智能代理在不涉及人工代理的情况下解决客户查询的处理的联系总数。
-
活跃的 AI 代理:
唯一 AI 代理的总数,其中每个代理均通过其名称和版本的唯一组合进行标识。
-
回复完成率:
成功响应传入请求的 AI 代理会话的百分比。
-
移交率:
由人工智能代理处理的被标记为需要额外支持的自助服务联系的百分比,包括但不限于人工代理。
-
进球成功率:
AI 代理成功解决客户问题的会话比例。值介于 0-1 之间,其中 1 表示成功解决了所有会话。
-
忠诚度分数:
AI 代理响应中与对话上下文保持一致的比例,包括消息和工具调用结果。值介于 0-1 之间,其中 1 表示完美的上下文保真度。
下图显示了自助服务 AI 性能摘要图表示例。
代理协助 AI 性能摘要
此控件显示您的代理辅助交互的运行状况,其中 AI 为人工代理提供支持。它显示了按照 “代理协助” 用例筛选的选定时间段内的以下关键指标。
-
涉及人工智能的联系人:
AI Agents 协助人工代理解决客户查询的联系人总数。
-
活跃的 AI 代理:
唯一 AI 代理的总数,其中每个代理均通过其名称和版本的唯一组合进行标识。
-
回复完成率:
成功响应传入请求的 AI 代理会话的百分比。
-
主动意图参与率:
人工代理点击的检测到的主动意图的百分比。
-
忠诚度分数:
AI 代理响应中与对话上下文保持一致的比例,包括消息和工具调用结果。值介于 0-1 之间,其中 1 表示完美的上下文保真度。
下图显示了代理协助 AI 性能摘要图表的示例。
AI 代理性能
此表提供了 AI 代理性能的深入视图,从用例到各个代理版本及其关键性能指标。
该表显示了两个级别的性能指标:
-
AI 用例级别:
用例中所有座席版本的汇总指标(最终客户自助服务、座席协助)。
-
AI 代理版本级别:
每个代理版本的单独性能指标。
您可以展开或折叠用例行以深入了解特定的代理版本。要了解每个版本对整体用例性能的贡献,请查看每个代理版本行的各个指标。
显示的指标:
-
AI 代理调用次数:
调用 AI 代理版本的总次数。
-
AI 代理调用成功率:
成功执行的 AI 代理调用的百分比。
-
平均 AI 代理对话转向:
AI 代理为得出结果所花费的平均对话回合数。
-
有用的回应:
竖起大拇指后被评为有用的 AI 建议数量。
-
无济于事的回应:
竖起大拇指后被评为无济于事的 AI 建议数量。
-
刀具利用率精度:
AI 代理正确使用工具的比率。值介于 0-1 之间,其中 1 表示充分利用率。
-
刀具选择精度:
AI 代理正确选择工具的比率。值介于 0-1 之间,其中 1 表示最佳选择。
-
刀具参数精度:
AI 代理提供正确参数的工具调用速率。值介于 0-1 之间,其中 1 表示完美的参数精度。
下图显示了 A I 代理性能表示例。
按调用成功率划分的 AI 代理
按调用成功率划分的 AI 代理图表显示每个 AI 代理的调用成功率。您可以直接从此图表中筛选特定 AI 代理、AI 代理类型、AI 用例或其他维度,从而进一步配置此小组件。
下图显示了按调用成功率排列的 AI 代理示例。
知识库使用情况
此表提供了 AI 代理引用的知识库文章的深入视图。您可以按 AI 代理类型和 AI 代理行进行扩展,深入了解特定的知识库名称,以查看 AI 代理引用知识库的次数。
显示的指标:
-
参考次数-AI 代理引用文章的次数。
下图显示了知识库使用表的示例。
AI 代理性能趋势
AI 代理性能趋势是一个时间序列图表,显示给定时间段内的 AI 代理调用成功率(蓝条)、忠诚度分数(红线)和工具利用率精度(绿线),按间隔(15 分钟、每天、每周、每月)细分。您可以直接使用小部件中的“间隔”按钮来配置不同的时间范围间隔。您可以选择的间隔取决于页面级别的时间范围筛选条件。
例如:
-
如果控制面板顶部有一个“今天”时间范围筛选条件,则只能看到过去 24 小时内的 15 分钟间隔趋势。
-
如果控制面板顶部有一个“天数”时间范围筛选条件,则可以看到过去 8 天的间隔趋势,或者过去 24 小时内的 15 分钟间隔趋势。
-
如果仪表板顶部有 “周” 时间范围筛选器,则可以查看每日或每周间隔趋势。
-
如果仪表板顶部有 “月” 时间范围筛选器,则可以查看每日或每月的时间间隔趋势。
下图显示了 A I 代理性能趋势图示例。
AI 工具的使用情况
此表比较了调用、平均延迟和调用成功率以及工具利用率准确性的工具实现(例如 MCP-模型上下文协议 Return-to-Control)。
例如,您可以选择 AI 代理类型(例如 Orchestration 或 Answer Recommention),并查看不同工具及其版本在该代理类型中的表现。您可以使用 AI 工具调用次数、AI 工具调用成功率或 Avg 对列进行排序,从而确定哪些工具版本需要优化。AI 工具调用延迟。
该表显示了三个级别的性能指标:
-
AI 代理类型级别:
代理类型中所有工具和版本的汇总指标。
-
AI 工具类型等级:
特定工具类型的所有版本的汇总指标。
-
人工智能工具:
每个工具版本的单独性能指标。
您可以展开或折叠 AI 代理类型和工具类型行,以深入了解特定的工具版本。要了解每个版本对整体工具类型性能的贡献,请查看每个工具版本行的各个指标。
显示的指标:
-
AI 工具调用次数:
调用 AI 工具版本的总次数。
-
平均 AI 工具调用延迟:
工具版本的平均调用延迟(以毫秒为单位)。
-
AI 工具调用成功率:
成功执行的 AI 工具调用的百分比。
-
刀具利用率精度:
AI 代理正确使用工具的比率。值介于 0-1 之间,其中 1 表示充分利用率。
-
刀具选择精度:
AI 代理正确选择工具的比率。值介于 0-1 之间,其中 1 表示最佳选择。
-
刀具参数精度:
AI 代理提供正确参数的工具调用速率。值介于 0-1 之间,其中 1 表示完美的参数精度。
下图显示了 AI 工具使用表的示例。
AI 提示性能
此表提供了 AI 提示性能的深入视图。您可以展开 AI 代理类型和提示类型行以深入了解特定的提示版本。要了解每个版本对整体提示类型性能的贡献,请查看每个提示版本行的各个指标。
该表显示了三个级别的性能指标:
-
AI 代理类型级别:
AI 代理类型的所有提示和版本的汇总指标。
-
AI 提示类型等级:
特定 AI 提示类型的所有版本的汇总指标。
-
AI 提示版本级别:
每个 AI 提示版本的单独性能指标。
显示的指标:
-
AI 提示调用次数:
调用 AI 提示版本的总次数。
-
AI 提示调用成功率:
成功执行的 AI 提示调用的百分比。
-
平均 AI 提示调用延迟:
AI 提示版本的平均调用延迟(以毫秒为单位)。
除了使用页面筛选器外,您还可以在表格中添加针对特定 AI 代理、AI 提示、时间范围或其他维度的过滤器。
下图显示了 A I 提示性能表示例。
主动意图趋势
主动意图趋势图显示了在给定时间段内检测到的主动意图(蓝条)、主动意图参与率(红线)和主动意图响应率(绿线),按间隔(15 分钟、每天、每周、每月)细分。您可以直接使用小部件中的“间隔”按钮来配置不同的时间范围间隔。您可以选择的间隔取决于页面级别的时间范围筛选条件。
显示的指标:
-
检测到的主动意图:
在 AI 会话期间检测到的主动意图(客户查询)的数量,适用于座席协助用例。
-
主动意图参与率:
在 “座席协助” 用例中,检测到的主动意图被人工代理点击或参与的百分比。
-
主动意图响应率:
在代理协助用例中,AI 代理成功实现的参与主动意图的百分比。
下图显示了主动意图趋势图示例。
AI 按调用延迟进行提示
按调用延迟显示的 AI 提示图表显示每个 AI 提示的平均调用延迟(以毫秒为单位)。您可以直接从此图表中筛选特定 AI 提示、AI 提示类型、AI 代理、AI 代理类型、AI 用例或其他维度,从而进一步配置此小组件。
下图显示了按调用延迟图表显示的 AI 提示示例。
AI 按调用成功率进行提示
按调用成功率划分的 AI 提示图表显示每个 AI 提示的调用成功率。您可以直接从此图表中筛选特定 AI 提示、AI 提示类型、AI 代理、AI 代理类型、AI 用例或其他维度,从而进一步配置此小组件。
下图显示了按调用成功率图表显示的 AI 提示示例。