Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Panel de rendimiento de AI Agent
Puede utilizar el panel de rendimiento de los agentes de IA para ver el rendimiento de los agentes de IA y obtener información sobre ellos y a lo largo del tiempo.
El panel proporciona un único lugar para ver el rendimiento agregado de los agentes de IA. Usa el panel para ver las métricas de tus agentes de IA, como el recuento de invocaciones, la latencia y la tasa de éxito.
Contenido
Habilitación del acceso al panel
Asegúrese de que a los usuarios se les asignen los permisos de perfil de seguridad adecuados:
Métricas de acceso: permiso de acceso o Panel de control: permiso de acceso. Para obtener información acerca de las diferencias de comportamiento, consulte Asignación de permisos para consultar paneles e informes en Amazon Connect.
Se necesita al menos uno de los siguientes permisos del perfil de seguridad para acceder al panel de rendimiento de los agentes de IA:
-
Diseñador de agentes de IA: permiso de visualización de agentes de IA
-
Diseñador de agentes de IA: permiso de visualización rápida de IA
-
Diseñador de agentes de IA: permiso de visualización de barandas de IA
-
Aplicaciones de agente: permiso de visualización del asistente Connect
El panel de control está disponible en: Análisis y optimización > Paneles de análisis > Rendimiento de los agentes de IA.
Especificación de los puntos de referencia “Intervalo de tiempo” y “Comparar con”
Utilice el filtro de intervalo de tiempo para especificar la fecha y el período de tiempo para los que desea ver los datos en el panel de control.
De forma predeterminada, el panel muestra los datos de la última semana. Puede personalizar el intervalo de tiempo para ver datos tan recientes como los últimos 15 minutos o que se remontan a un historial de hasta 3 meses.
Usa el filtro Comparar para seleccionar un período de tiempo con el que comparar tus datos actuales. Esto le permite identificar tendencias y realizar un seguimiento de las mejoras o problemas a lo largo del tiempo.
Resumen del rendimiento de la IA de autoservicio
En esta sección se muestra el estado de las interacciones de autoservicio iniciadas por un agente de IA. Muestra las siguientes métricas clave para el período de tiempo seleccionado filtradas por caso de uso del «autoservicio»:
-
La IA implicaba contactos:
Recuento total de contactos gestionados en los que los agentes de IA resolvieron las consultas de los clientes sin la participación de agentes humanos.
-
Agentes de IA activos:
El número total de agentes de IA únicos, donde cada agente se identifica por su combinación única de nombre y versión.
-
Tasa de respuesta completada:
El porcentaje de sesiones de agentes de IA que respondieron correctamente a las solicitudes entrantes.
-
Tasa de traspaso:
Porcentaje de contactos de autoservicio gestionados por agentes de IA que se consideró que necesitaban asistencia adicional, incluidos, entre otros, agentes humanos.
-
Tasa de éxito de los objetivos:
La proporción de sesiones en las que los agentes de IA resolvieron satisfactoriamente los problemas de los clientes. El valor está entre 0 y 1, donde 1 indica una resolución satisfactoria en todas las sesiones.
-
Puntuación de fidelidad:
La proporción de respuestas de los agentes de IA que se mantienen fieles al contexto de la conversación, incluidos los mensajes y los resultados de las llamadas a las herramientas. El valor está entre 0 y 1, donde 1 indica una fidelidad contextual perfecta.
La siguiente imagen muestra un ejemplo de gráfico resumido del rendimiento de la IA de autoservicio.
Resumen del rendimiento de la IA de asistencia a los agentes
Este widget muestra el estado de las interacciones asistidas por agentes en las que la IA presta apoyo a los agentes humanos. Muestra las siguientes métricas clave para el período de tiempo seleccionado filtradas por el caso de uso de la «asistencia de agentes».
-
Contactos relacionados con la IA:
Número total de contactos en los que los agentes de IA ayudaron a agentes humanos a resolver las consultas de los clientes.
-
Agentes de IA activos:
El número total de agentes de IA únicos, donde cada agente se identifica por su combinación única de nombre y versión.
-
Tasa de respuesta completada:
El porcentaje de sesiones de agentes de IA que respondieron correctamente a las solicitudes entrantes.
-
Tasa de participación proactiva por intención:
Porcentaje de intenciones proactivas detectadas en las que los agentes humanos han hecho clic.
-
Puntuación de fidelidad:
La proporción de respuestas de los agentes de IA que se mantienen fieles al contexto de la conversación, incluidos los mensajes y los resultados de las llamadas a las herramientas. El valor está entre 0 y 1, donde 1 indica una fidelidad contextual perfecta.
La siguiente imagen muestra un ejemplo de un gráfico resumido del rendimiento de la IA de Agent Assistance.
El rendimiento de los agentes de IA
Esta tabla proporciona una vista detallada del rendimiento de los agentes de IA, desde los casos de uso hasta las versiones de los agentes individuales y sus principales métricas de rendimiento.
En la tabla se muestran las métricas de rendimiento en dos niveles:
-
A nivel de caso de uso de la IA:
Métricas agregadas de todas las versiones de los agentes dentro de un caso de uso (autoservicio para el cliente final, asistencia a los agentes).
-
Nivel de versión del agente de IA:
Métricas de rendimiento individuales para cada versión del agente.
Puede ampliar o contraer las filas de casos de uso para desglosar las versiones de los agentes específicas. Para ver cómo contribuye cada versión al rendimiento general de los casos de uso, consulta las métricas individuales de cada fila de versiones del agente.
Métricas mostradas:
-
Recuento de invocaciones de agentes de IA:
Número total de veces que se invocó la versión del agente de IA.
-
Tasa de éxito de invocación de agentes de IA:
Porcentaje de invocaciones de agentes de IA que se ejecutaron correctamente.
-
Prom. La conversación entre un agente de IA gira en torno a
Número medio de turnos de conversación que el agente de IA tardó en llegar a un resultado.
-
Respuesta útil:
El recuento de sugerencias de IA calificadas como útiles con un visto bueno hacia arriba.
-
Respuesta inútil:
El recuento de sugerencias de IA calificadas como inútiles con el visto bueno hacia abajo.
-
Precisión de utilización de la herramienta:
La tasa de utilización correcta de la herramienta por parte del agente de IA. El valor está entre 0 y 1, donde 1 indica un uso perfecto.
-
Precisión de selección de herramientas:
La tasa de selecciones correctas de herramientas por parte de los agentes de IA. El valor está entre 0 y 1, donde 1 indica una selección óptima.
-
Precisión de los parámetros de la herramienta:
La tasa de invocaciones de herramientas en las que los agentes de IA proporcionaron los parámetros correctos. El valor está entre 0 y 1, donde 1 indica una precisión perfecta de los parámetros.
La siguiente imagen muestra un ejemplo de la tabla de rendimiento de los agentes de IA.
Tasa de éxito de los agentes de IA por invocación
El gráfico de tasa de éxito de los agentes de IA por invocación muestra la tasa de éxito de invocación de cada agente de IA. Puede configurar aún más este widget filtrando directamente desde este gráfico los agentes de IA, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones específicos.
La siguiente imagen muestra un ejemplo de una tabla de tasas de éxito de invocación de agentes de IA.
Uso de la base de conocimientos
Esta tabla proporciona una vista detallada de los artículos de la base de conocimientos a los que hacen referencia sus agentes de IA. Puede ampliarlos por tipo de agente de IA y filas de agentes de IA para desglosar el nombre específico de la base de conocimientos y ver cuántas veces los agentes de IA han hecho referencia a ella.
Métricas mostradas:
-
Recuento de referencias: número de veces que los agentes de IA hicieron referencia al artículo.
La siguiente imagen muestra un ejemplo de tabla de uso de la base de conocimientos.
Tendencia de rendimiento de los agentes de IA
La tendencia del rendimiento de los agentes de IA es un gráfico de series temporales que muestra la tasa de éxito de invocación de los agentes de IA (barras azules), la puntuación de fidelidad (línea roja) y la precisión de uso de las herramientas (línea verde) durante un período de tiempo determinado desglosados por intervalos (15 minutos, diarios, semanales o mensuales). Puede configurar diferentes intervalos de tiempo con el botón Intervalo directamente en el widget. Los intervalos que puede seleccionar dependen del filtro de rango de tiempo en el nivel de página.
Por ejemplo:
-
Si tiene el filtro de intervalo de tiempo Hoy en la parte superior del panel, solo podrá ver un intervalo de 15 minutos de las últimas 24 horas.
-
Si tiene un filtro de intervalo de tiempo Día en la parte superior del panel, verá una tendencia de intervalos de los últimos 8 días o una tendencia de intervalos de 15 minutos de las últimas 24 horas.
-
Si tienes un filtro de intervalo de tiempo «semanal» en la parte superior del panel de control, podrás ver las tendencias de los intervalos diarios o semanales.
-
Si tienes un filtro de intervalo de tiempo «mensual» en la parte superior del panel, podrás ver las tendencias de los intervalos diarios o mensuales.
La siguiente imagen muestra un ejemplo de gráfico de tendencias de rendimiento de los agentes de IA.
Uso de herramientas de IA
En esta tabla se comparan las implementaciones de herramientas (por ejemplo, el MCP (Model Context Protocol Return-to-Control) en las invocaciones, la latencia media y la tasa de éxito de las invocaciones, y la precisión de la utilización de las herramientas.
Por ejemplo, puede seleccionar un tipo de agente de IA (por ejemplo, Orchestration o Answer Recommendation) y ver el rendimiento de las distintas herramientas y sus versiones en ese tipo de agente. Para identificar qué versiones de las herramientas necesitan optimizarse, clasifique las columnas según el recuento de invocaciones de las herramientas de IA, la tasa de éxito de las invocaciones de las herramientas de IA o el promedio. Latencia de invocación de herramientas de IA.
La tabla muestra las métricas de rendimiento en tres niveles:
-
Nivel de tipo de agente de IA:
Métricas agregadas de todas las herramientas y versiones de un tipo de agente.
-
Nivel de tipo de herramienta de IA:
Métricas agregadas de todas las versiones de un tipo de herramienta específico.
-
Herramienta de IA:
Métricas de rendimiento individuales para cada versión de la herramienta.
Puede ampliar o contraer las filas de tipos de agente de IA y de tipo de herramienta para desglosar las versiones de herramientas específicas. Para ver cómo contribuye cada versión al rendimiento general del tipo de herramienta, consulta las métricas individuales de cada fila de la versión de la herramienta.
Métricas mostradas:
-
Recuento de invocaciones de herramientas de IA:
Número total de veces que se invocó la versión de la herramienta de IA.
-
Prom. Latencia de invocación de la herramienta de IA:
Latencia media de invocación en milisegundos para la versión de la herramienta.
-
Tasa de éxito de invocación de herramientas de IA:
Porcentaje de invocaciones a herramientas de IA que se ejecutaron correctamente.
-
Precisión de utilización de la herramienta:
La tasa de utilización correcta de la herramienta por parte del agente de IA. El valor está entre 0 y 1, donde 1 indica un uso perfecto.
-
Precisión de selección de herramientas:
La tasa de selecciones correctas de herramientas por parte de los agentes de IA. El valor está entre 0 y 1, donde 1 indica una selección óptima.
-
Precisión de los parámetros de la herramienta:
La tasa de invocaciones de herramientas en las que los agentes de IA proporcionaron los parámetros correctos. El valor está entre 0 y 1, donde 1 indica una precisión perfecta de los parámetros.
La siguiente imagen muestra un ejemplo de tabla de uso de herramientas de IA.
Rendimiento rápido de la IA
En esta tabla se ofrece una vista detallada del rendimiento de las transmisiones rápidas de la IA. Puede ampliar las filas del tipo de agente de IA y de los tipos de mensaje para desglosar las versiones de mensajes específicas. Para ver cómo contribuye cada versión al rendimiento general de los tipos de mensaje, consulta las métricas individuales de cada fila de la versión de mensaje.
En la tabla se muestran las métricas de rendimiento en tres niveles:
-
Nivel de tipo de agente de IA:
Métricas agregadas en todas las solicitudes y versiones de un tipo de agente de IA.
-
Nivel de tipo de mensaje de IA:
Métricas agregadas de todas las versiones de un tipo de mensaje de IA específico.
-
Nivel de versión de AI Prompt:
Métricas de rendimiento individuales para cada versión de AI Prompt.
Métricas mostradas:
-
Recuento de invocaciones rápidas de IA:
Número total de veces que se invocó la versión del mensaje de IA.
-
Tasa de éxito de invocación rápida de IA:
Porcentaje de invocaciones rápidas de IA que se ejecutaron correctamente.
-
Prom. Latencia de invocación rápida de IA:
Latencia media de invocación en milisegundos para la versión de comandos de IA.
Además de utilizar los filtros de página, puedes añadir filtros a la tabla para agentes de IA específicos, solicitudes de IA, intervalos de tiempo u otras dimensiones.
La siguiente imagen muestra un ejemplo de tabla de rendimiento de las solicitudes de IA.
Tendencia de intenciones proactivas
El gráfico de tendencias de las intenciones proactivas muestra las intenciones proactivas detectadas (barras azules), comparándolas con la tasa de interacción con la intención proactiva (línea roja) y la tasa de respuesta con la intención proactiva (línea verde) durante un período de tiempo determinado, desglosadas por intervalos (15 minutos, diarios, semanales o mensuales). Puede configurar diferentes intervalos de tiempo con el botón Intervalo directamente en el widget. Los intervalos que puede seleccionar dependen del filtro de rango de tiempo en el nivel de página.
Métricas mostradas:
-
Intenciones proactivas detectadas:
El número de intentos proactivos (consultas de los clientes) detectados durante las sesiones de IA, en los casos de uso de Agent Assistance.
-
Tasa proactiva de interacciones intencionales:
El porcentaje de intentos proactivos detectados en los que agentes humanos hicieron clic o en los que interactuaron, en los casos de uso de Agent Assistance.
-
Tasa de intención y respuesta proactiva:
El porcentaje de intentos proactivos comprometidos que los agentes de IA cumplieron satisfactoriamente, en los casos de uso de Agent Assistance.
La siguiente imagen muestra un ejemplo de gráfico de tendencias de Proactive Intentions.
La IA solicita mediante la latencia de invocación
El gráfico de latencia de invocación de las solicitudes de IA por invocación muestra la latencia de invocación media en milisegundos de cada solicitud de IA. Puedes configurar aún más este widget filtrando directamente desde este gráfico las indicaciones de IA específicas, el tipo de solicitud de IA, el agente de IA, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones.
La siguiente imagen muestra un ejemplo de gráfico de solicitudes de IA por latencia de invocación.
La IA pregunta según la tasa de éxito de la invocación
El gráfico de tasa de éxito de las solicitudes de IA por invocación muestra la tasa de éxito de invocación de cada solicitud de IA. Puedes configurar aún más este widget filtrando directamente desde este gráfico las indicaciones de IA específicas, el tipo de solicitud de IA, el agente de IA, el tipo de agente de IA, el caso de uso de la IA u otras dimensiones.
En la siguiente imagen se muestra un ejemplo de una tabla de tasas de éxito de invocación de mensajes de IA.
