Funcionamiento
AgentCore insights responde a tres preguntas sobre el comportamiento de producción de su agente: ¿Por qué falla? ¿Qué piden los usuarios? y ¿Cómo resuelve los problemas?
¿Qué obtienes
Cuando analizas información, recibes:
-
Una lista priorizada de patrones de error: no errores individuales, sino problemas recurrentes agrupados por causa raíz. Cada patrón indica qué es lo que va mal y por qué. Insights está integrado con funciones de AgentCore recomendación para generar soluciones a los patrones de error.
-
Un mapa de las intenciones de los usuarios: las cosas más comunes que los usuarios intentan lograr, clasificadas por frecuencia.
-
Un resumen de los patrones de comportamiento de los agentes: cómo su agente suele abordar los problemas y qué resultados obtiene.
Estos datos corresponden a tres tipos de información que puede configurar:
-
Builtin.Insight.FailureAnalysis— Detección de patrones de fallas y análisis de la causa raíz -
Builtin.Insight.UserIntent— Extracción y agrupamiento de la intención del usuario -
Builtin.Insight.ExecutionSummary— Resumen y agrupamiento del comportamiento de los agentes
¿Cómo funciona el análisis
Insights examina el seguimiento de las sesiones de su agente (el registro completo de los mensajes de los usuarios, el razonamiento del agente, las llamadas a las herramientas y las respuestas) y arroja conclusiones en dos niveles:
Session-level análisis
Cada sesión se analiza individualmente para determinar:
-
Si el agente detectó errores durante la ejecución, incluidos los errores ocultos dentro de los rastros que pueden no ser visibles para el usuario final incluso cuando la sesión parece correcta
-
Qué categoría de fallo se produjo (error de herramienta, alucinación, elección incorrecta de la herramienta, etc.)
-
¿Qué paso específico de la ejecución del agente causó el error
-
¿Cuál fue la causa principal
-
¿Qué intentaba lograr el usuario
-
Qué enfoque adoptó el agente y cuál fue el resultado final
¿Descubrimiento de patrones
Una vez analizadas las sesiones individuales, el servicio identifica los patrones recurrentes en todas las sesiones agrupando los hallazgos similares. Para el análisis de fallas, esto produce una jerarquía de tres niveles:
-
Categorías de errores: agrupaciones amplias, como «errores de ejecución», «alucinaciones» o «acciones incorrectas».
-
Subcategorías: tipos de errores más específicos, como «errores de limitación de velocidad» o «errores en el esquema de la herramienta».
-
Grupos de causas principales: dentro de cada subcategoría, las causas raíz recurrentes específicas. Cada clúster indica lo siguiente:
-
¿Cuál es la causa raíz
-
¿Cuántas sesiones se ven afectadas
-
¿Qué sesiones puede inspeccionar para obtener más información
-
Para las intenciones de los usuarios y los resúmenes de ejecución, el servicio produce clústeres planos clasificados por frecuencia.
Cuando se ejecuta
Usted controla cuándo se publica Insights:
-
One-time:
StartBatchEvaluationSolicita información cuando desees un análisis, por ejemplo, después de una implementación, después de un aumento en el número de quejas de los usuarios o como parte de una revisión semanal. -
Recurrente: configura una frecuencia de agrupamiento (
DAILYWEEKLY, oMONTHLY) y el servicio se ejecutará automáticamente y te proporcionará informes periódicos sin intervención manual.
Categorías de errores
Insights reconoce una amplia taxonomía de los tipos de fallos de los agentes:
| Categoría | Ejemplos |
|---|---|
|
Errores de ejecución |
Fallos de autenticación, recurso no encontrado, errores de servicio, limitación de velocidad, tiempos de espera e infracciones del esquema de herramientas |
|
Problemas con las instrucciones de las tareas |
Non-compliance con instrucciones, errores de identificación de problemas |
|
Acciones incorrectas |
Selección incorrecta de herramientas, recuperación de información deficiente, solicitudes de aclaración inadecuadas |
|
Manejo del contexto |
Fallos en el manejo del contexto en los turnos |
|
Alucinaciones |
Capacidades inventadas, malentendidos, uso incorrecto, invención histórica, alucinación de parámetros, resultados de herramientas inventados |
|
Comportamiento repetitivo |
Repetición de llamadas a herramientas, repetición de solicitudes de información, repetición de pasos |
|
Errores de orquestación |
Discordancia de razonamiento, desviación del objetivo, terminación prematura, terminación inconsciente |
|
Problemas de salida de LLM |
Salidas sin sentido |
|
Discordancia de configuración |
Discordancias en las definiciones de herramientas |
|
Coding-specific |
Supervisos de casos extremos, problemas de dependencia |
