View a markdown version of this page

使用指标监控基岩地幔推断 CloudWatch - Amazon Bedrock
推理指标代币指标Dimensions选择正确的粒度级别与基岩运行时指标的区别查看基岩地幔指标

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用指标监控基岩地幔推断 CloudWatch

Amazon Bedrock OpenAI-compatible 终端节点 (bedrock-mantle.region.api.aws) 在命名空间 CloudWatch 下向亚马逊发布面向客户的指标。AWS/BedrockMantle使用这些指标来监控您的 AWS 账户项目和模型中的推理量、代币消耗量和错误率。

如果您的应用程序通过bedrock-runtime.region.amazonaws.com使用 Converse 调用推理ConverseStream、InvokeModelInvokeModelWithResponseStream、或，请参阅Amazon Bedrock 运行时指标。 bedrock-mantle指标仅涵盖通过端点上的响应 API、聊天完成 API 和 Anthropic Messages API 发布的推断。bedrock-mantle

bedrock-mantle按四个粒度发布指标。每个级别使用不同的 CloudWatch 维度组合，如中所述Dimensions。所有指标的范围均限于您的。 AWS 账户

推理指标

推理指标
指标名称 单位 说明
Inferences 计数 “响应”、“聊天完成” 和 “消息” API 中已完成的推理请求总数。在 “账户”、“项目”、“模型” 和 “项目+模型” 级别发布。
InferenceClientErrors 计数 因客户端 (4xx) 错误而失败的推理请求数。在 “账户”、“项目”、“模型” 和 “项目+模型” 级别发布。

代币指标

代币指标
指标名称 单位 说明
TotalInputTokens 计数 汇总在发布间隔内处理的可计费输入令牌。已在账户、项目和模型级别发布。用于计算总和和和和费率。
TotalOutputTokens 计数 汇总发布间隔内生成的可计费输出代币。已在账户、项目和模型级别发布。
InputTokens 计数 Per-inference 可计费的输入代币。每个完成的推理都会发出一个数据。仅在 “项目+模型” 级别发布。当您需要每个请求令牌计数的百分位统计信息 (p50/p90/p99) 时，请使用此选项。
OutputTokens 计数 Per-inference 可计费的输出代币。每个完成的推理都会发出一个数据。仅在 “项目+模型” 级别发布。

Dimensions

Dimensions
维度名称 值 适用于
Project 与推理请求关联的项目 ID。 项目、项目+模型
Model 模型标识符（例如，anthropic.claude-opus-4-7）。 模型、项目+模型

Account-level 指标的范围仅限于您的 AWS 账户 ，没有其他维度。每个粒度级别都是独立发射的，因此，当项目和模型都可以解析时，单个推断就会影响所有四个级别。

选择正确的粒度级别

  • 账户级别 — 总体使用量、错误率和代币总量。适用于高级仪表板和账户范围的警报。不适合成本分析，因为定价因型号而异。

  • 项目级别 — 按项目汇总的按项目计费和团队级别的仪表板。

  • 模型级别 — 每个模型的使用率和错误率，适用于迁移针对现有bedrock-runtimeModelId维度构建的仪表板。

  • 项目+模型级别 — 成本分析、百分位延迟和代币分析的主要级别。当您需要在同一数据上同时使用项目归因和模型归因时，请使用此选项。

与基岩运行时指标的区别

  • 单独的命名空间。 bedrock-mantle指标发布到AWS/BedrockMantle。现有的仪表板和针对其构建的警报AWS/Bedrock不会bedrock-mantle吸引流量。

  • 命名。 bedrock-mantle使用Inferences而不是Invocations、TotalOutputTokens而不是TotalInputTokensInputTokenCount和OutputTokenCount，InferenceClientErrors而不是InvocationClientErrors。

  • 项目维度。 bedrock-mantle指标具有bedrock-runtime指标所没有的Project维度，从而可以按项目进行成本归因。

  • Cross-region 推断。 bedrock-mantle仅在区域内。指标是在处理请求的区域中发布的，而不是像跨区域推理 (CRIS) 流量那样跨区域汇总。bedrock-runtime

  • 延迟指标。 InvocationLatency并且TimeToFirstToken等效词尚未由发布。bedrock-mantle

查看基岩地幔指标

要在 CloudWatch 控制台中查看bedrock-mantle指标，请执行以下操作：

  1. 打开控制 CloudWatch 台。

  2. 在导航窗格中，依次选择指标、所有指标。

  3. 选择 AWS/BedrockMantle 命名空间。

  4. 通过选择与您的查询相匹配的维度集来选择粒度级别（例如，Project, Model用于项目和模型细分）。

您必须拥有相应的 CloudWatch 权限才能读取bedrock-mantle指标。有关更多信息，请参阅《亚马逊 CloudWatch 用户指南》 CloudWatch中的亚马逊身份验证和访问控制。