生成式人工智能可观测性 - Amazon CloudWatch

生成式人工智能可观测性

借助 Amazon CloudWatch，您可以观测生成式人工智能工作负载（包括 Amazon Bedrock AgentCore 代理），并获取人工智能性能、运行状况及准确性的深度洞察。CloudWatch 提供有关人工智能工作负载延迟、使用情况和错误的预配置视图，便于您更快地检测模型和代理等组件中的问题。端到端提示追踪功能可帮助您快速定位知识库、工具及模型等组件中的问题。CloudWatch 的人工智能监控功能兼容 AWS Strands、LangChain 和 LangGraph 等主流的生成式人工智能编排框架，支持灵活选择框架。

CloudWatch 生成式人工智能可观测性功能有助您实现以下能力：

  • 通过自动化监控实现人工智能应用程序质量与准确性的规模化评估，采集模型输出结果、响应质量指标及终端用户交互数据，减少人工审核的工作量

  • 监控模型调用、代理（托管式、自托管和第三方）、知识库、防护机制及工具

  • 推动代理从实验阶段迈向创新型生成式人工智能应用程序的生产部署，同时确保卓越的质量、性能与可靠性。有关更多信息，请参阅 What is Amazon Bedrock AgentCore?

  • 借助端到端提示追踪功能、精心设计的指标与日志分析，快速定位错误根源

  • 利用现有的 CloudWatch 可观测性工具，例如 Application Signals、警报、控制面板、敏感数据保护和 Logs Insights，对整个生成式人工智能应用程序和底层基础设施进行问题排查

  • 在使用 Amazon Bedrock 时访问提示追踪数据，并通过 ADOT SDK 将第三方模型的结构化追踪数据发送到 CloudWatch。要了解如何为 Amazon Bedrock AgentCore 代理或工具添加可观测性功能，请参阅 Amazon Bedrock AgentCore

CloudWatch 生成式人工智能可观测性功能提供两项预置能力：

注意

使用 Amazon Bedrock 中任意模型执行推理时，均可使用模型调用控制面板。

  • 模型调用 – 提供模型使用情况、令牌消耗量的详细指标控制面板，以及经整理的调用日志表，支持查看模型推理的详细输入与输出内容

  • Amazon Bedrock AgentCore 代理 – 提供 Amazon Bedrock AgentCore 基础组件的性能指标与决策指标，涉及“代理”“内存”“内置工具”“网关”及“身份”

这些控制面板提供的关键指标包括：

  • 调用总量与平均调用量

  • 令牌使用量（总量、单次查询平均值、输入、输出）

  • 延迟（平均值、P90、P99）

  • 错误率和节流事件

  • 按应用程序、用户角色或具体用户划分的成本归因

主题