Observabilidad de IA generativa - Amazon CloudWatch

Observabilidad de IA generativa

Con Amazon CloudWatch, puede observar las cargas de trabajo de IA generativa, tales como agentes de Amazon Bedrock AgentCore, y obtener información sobre el rendimiento, el estado y la precisión de la IA. CloudWatch proporciona vistas preconfiguradas de la latencia, el uso y los errores de sus cargas de trabajo de IA, lo que le permite detectar problemas más rápidamente en componentes como modelos y agentes. El seguimiento de peticiones de principio a fin es útil para identificar rápidamente los problemas en componentes como las bases de conocimiento, las herramientas y los modelos. Las funcionalidades de supervisión de IA de CloudWatch son compatibles con los marcos de orquestación de IA generativa populares como AWS Strands, LangChain y LangGraph, lo que ofrece flexibilidad para elegir el marco.

La observabilidad de IA generativa de CloudWatch le permite:

  • Evalúe la calidad y precisión de las aplicaciones de IA a escala mediante la supervisión automatizada, lo que reduce los requisitos de revisión manual al capturar los resultados del modelo, las métricas de calidad de respuesta y las interacciones de los usuarios finales.

  • Supervisar las invocaciones de los modelos, los agentes (administrados, autoalojados y de terceros), las bases de conocimiento, las barreras de protección y las herramientas

  • Avanzar a partir de la experimentación con agentes hasta la producción de aplicaciones innovadoras de IAGen, lo que garantiza también una calidad, un rendimiento y una fiabilidad superiores. Para más información, consulte ¿Qué es Amazon Bedrock AgentCore?

  • Identificar rápidamente el origen de los errores mediante el rastreo de peticiones de principio a fin, las métricas seleccionadas y los registros

  • Solucionar problemas en toda la aplicación de IAGen y la infraestructura subyacente mediante el uso de las herramientas de observabilidad de CloudWatch existentes, como Application Signals, Alarms, Dashboards, Sensitive data protection y Logs Insights

  • Acceder a los seguimientos de peticiones mientras utiliza Amazon Bedrock y envíe seguimientos estructurados de modelos de terceros a CloudWatch mediante el SDK de ADOT. Para obtener información sobre cómo agregar observabilidad a su agente o herramienta de Amazon Bedrock AgentCore, consulte Amazon Bedrock AgentCore

La observabilidad de la IA generativa de CloudWatch ofrece dos capacidades prediseñadas:

nota

Puede utilizar el panel Invocación de modelos mediante cualquier modelo de inferencia en Amazon Bedrock.

  • Invocaciones de modelos: panel de métricas detallado sobre el uso de modelos, el consumo de tokens y una tabla de registros de invocaciones seleccionada para ver el contenido detallado de entrada y salida de las inferencias del modelo

  • Agentes de Amazon Bedrock AgentCore: métricas de rendimiento y decisión para primitivas de Amazon Bedrock AgentCore, como agentes, memoria, herramientas integradas, puertas de enlace e identidad

Las métricas clave disponibles en estos paneles incluyen:

  • Invocaciones totales y promedio

  • Uso de tokens (total, promedio por consulta, entrada, salida)

  • Latencia (promedio, P90, P99)

  • Tasas de error y eventos de limitación

  • Atribución de costos por aplicación, rol de usuario o usuario específico

Temas