模型调用 - Amazon CloudWatch
在 Amazon Bedrock 中启用模型调用

模型调用

CloudWatch 生成式人工智能可观测性功能便于您监控模型调用性能。您可以使用开箱即用的视图来追踪调用次数、令牌使用量和错误率等指标。要深入分析输入和输出等调用内容，请启用 Bedrock 调用日志记录功能，将日志发送到 CloudWatch。有关更多信息，请参阅 Set up a CloudWatch Logs destination 和 Help protect sensitive log data with masking。

在 Amazon Bedrock 中启用模型调用

注意

必须在 Amazon Bedrock 中启用模型调用日志记录功能才能查看调用数据。

请按照以下步骤在 Amazon Bedrock 中启用模型调用日志记录功能：

  1. 通过以下网址打开 Amazon Bedrock 控制台：https://console.aws.amazon.com/bedrock/。

  2. 选择设置。

  3. 在模型调用日志记录下，勾选模型调用日志记录选项。

  4. 选择需要包含在日志中的数据类型。选择将日志发送到 CloudWatch Logs，或者同时发送到 Amazon S3 和 CloudWatch Logs。

  5. 在 CloudWatch Logs 配置中，创建日志组名称并选择适当的服务角色。

  6. 选择需要包含在日志中的数据类型。

  7. 选择保存设置

    只要开始使用 Amazon Bedrock 调用服务，系统会自动显示预配置的控制面板。启用 Model Invocation logging 后，即可查看默认控制面板及下方关联的调用记录表。

生成式人工智能可观测性

  • 调用次数：Converse、ConverseStream、InvokeModel 和 InvokeModelWithResponseStream API 操作的成功请求数量

  • 调用延迟：调用操作的延迟时间

  • 按模型统计的令牌数：按输入令牌数和输出令牌数划分的模型令牌统计数

  • 按模型 ID 统计的日令牌数：按模型 ID 统计的每日令牌总数

  • 输入令牌数、输出令牌数：相应账户所选模型中输入和输出的令牌总数

  • 按输入令牌分组的请求数：按 6 个区间分组的请求数量。每条线代表落入特定区间的请求数

  • 调用节流数：系统节流的调用次数。实际显示的节流次数取决于 SDK 中的重试设置。有关更多信息，请参阅《AWS SDKs and Tools Reference Guide》中的 Retry behavior

  • 调用错误次数：服务端和客户端错误导致的调用失败次数统计

请按照以下步骤使用模型调用控制面板：

  1. 将鼠标悬停在任意指标图表上方，可查看调用详情。点击警报图标设置 Alarms，可监控应用程序的质量和性能。有关设置警报的信息，请参阅警报。有关指标的更多信息，请参阅 Amazon Bedrock runtime metrics。

  2. 在 ModelID 下拉列表中选择一个模型 ID，可查看对应指标。

  3. 选择在 CloudWatch 指标中查看，可在 CloudWatch 中查看控制面板指标。

  4. 选择时段覆盖，可调整指标的统计时段（例如：1 分钟、1 小时或 6 小时）。

  5. 在调用下选择请求 ID，可查看请求的详情。在右侧窗格中可查看模型调用输入和输出详情。

模型调用 – 请求 ID 视图

在请求 ID 页面的操作下拉列表中，选择在 Logs Insights 中查看，即可在 CloudWatch Logs 中查看日志。有关更多信息，请参阅使用 CloudWatch Logs Insights 分析日志数据。