生成式人工智能可观测性 - Amazon CloudWatch

生成式人工智能可观测性

借助 Amazon CloudWatch，您可以观测生成式人工智能工作负载（包括 Amazon Bedrock AgentCore 代理），并获取人工智能性能、运行状况及准确性的深度洞察。CloudWatch 提供有关人工智能工作负载延迟、使用情况和错误的预配置视图，便于您更快地检测模型和代理等组件中的问题。端到端提示追踪功能可帮助您快速定位知识库、工具及模型等组件中的问题。CloudWatch 的人工智能监控功能与 AWS Strands、LangChain 和 LangGraph 等常见的生成式人工智能编排框架兼容，支持灵活选择框架。

CloudWatch 生成式人工智能可观测性功能有助您实现以下能力：

  • 深度洞察最终用户结果、人工智能性能、运行状况和准确性，同时减轻人工介入（HITL）评测负担

  • 监控模型调用、代理（托管式、自托管和第三方）、知识库、防护机制及工具

  • 推动代理从实验阶段迈向创新型生成式人工智能应用程序的生产部署，同时确保卓越的质量、性能与可靠性。有关更多信息，请参阅 What is Amazon Bedrock AgentCore?

  • 借助端到端提示追踪功能、精心设计的指标与日志分析，快速定位错误根源

  • 利用现有的 CloudWatch 可观测性工具，例如 Application Signals、警报、控制面板、敏感数据保护和 Logs Insights，对整个生成式人工智能应用程序和底层基础设施进行问题排查

  • 在使用 Amazon Bedrock 时访问提示追踪数据，并通过 ADOT SDK 将第三方模型的结构化追踪数据发送到 CloudWatch。要了解如何为 Amazon Bedrock AgentCore 代理或工具添加可观测性功能，请参阅 Amazon Bedrock AgentCore

CloudWatch 生成式人工智能可观测性功能提供两个预构建的控制面板：

注意

必须启用 Amazon Bedrock，才能查看模型调用控制面板。

  • 模型调用：有关模型使用量、令牌消耗使和成本费用的详细指标

  • Amazon Bedrock AgentCore 代理：Amazon Bedrock 代理的性能和决策指标

这些控制面板提供的关键指标包括：

  • 调用总量与平均调用量

  • 令牌使用量（总量、单次查询平均值、输入、输出）

  • 延迟（平均值、P90、P99）

  • 错误率和节流事件

  • 按应用程序、用户角色或具体用户划分的成本归因

主题