View a markdown version of this page

使用指标监控基本运行时推断 CloudWatch - Amazon Bedrock
Amazon Bedrock 运行时指标模型调用记录指标 CloudWatch

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用指标监控基本运行时推断 CloudWatch

亚马逊基岩bedrock-runtime.region.amazonaws.com终端节点在AWS/Bedrock命名空间 CloudWatch 下向亚马逊发布指标。使用这些指标来监控调用量、延迟、令牌消耗、错误率和模型调用日志传输。

如果您的应用程序通过调用推理bedrock-mantle.region.api.aws，请使用指标监控基岩地幔推断 CloudWatch改为参见。

Amazon Bedrock 运行时指标

下表描述了 Amazon Bedrock 提供的运行时指标。

指标名称 单位 说明
Invocations 计数 对 Converse 、ConverseStreamInvokeModel、和 InvokeModelWithResponseStream API 操作的成功请求数。

InvocationLatency

 MilliSeconds

从发送请求到收到最后一个令牌的时间。

要区分服务端吞吐量变化导致的延迟增加和模型响应时间较长导致的延迟增加，请参阅使用每秒输出令牌 (OTPS) 进行诊断InvocationLatency增加。

InvocationClientErrors

 计数

导致发生客户端错误的调用次数。

InvocationServerErrors

 计数

导致 AWS 服务器端错误的调用次数。

InvocationThrottles

 计数

系统节流的调用次数。受限请求和其他调用错误不会计入调用次数或错误次数。实际显示的节流次数取决于 SDK 中的重试设置。有关更多信息，请参阅《软件开发工具包和 AWS 工具参考指南》中的重试行为。

InputTokenCount

 计数

输入中的令牌数。
LegacyModelInvocations 计数 使用旧版模型的调用次数

OutputTokenCount

 计数

输出中的令牌数。

OutputImageCount

 计数

输出中的图像数（仅适用于图像生成模型）。

TimeToFirstToken

 MilliSeconds

从发送请求到收到第一个令牌的时间，用于ConverseStream和InvokeModelWithResponseStream流式传输 API 操作。

EstimatedTPMQuotaUsage

 计数

Converse 、、ConverseStream和 InvokeModelWithResponseStream API 操作的预计每分钟代币 (TPM) 配额消耗量。 InvokeModel 该指标是近似值，并不反映推动节流决策的基于预留的代币消费。限制是基于预先预留的输入代币和max_tokens（参见Amazon Bedrock 中词元的计算方式），这可能与此估计值有所不同。请勿将此指标用作配额使用或容量规划的唯一指标。

CacheReadInputTokenCount

 计数

从提示缓存中读取的输入令牌的数量。这些代币按较低的费率收费，不计入您的TPM配额。

CacheWriteInputTokenCount

 计数

写入提示缓存的输入令牌的数量。这些代币计入您的 TPM 配额。

还提供了针对 Amazon Bedrock 护栏和 Amazon Bedrock 代理的指标。

模型调用记录指标 CloudWatch

对于每次成功或失败的尝试，将在命名空间AWS/Bedrock和Across all model IDs维度下发布以下 Amazon CloudWatch 指标：

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

要检索 Amazon Bedrock 操作的指标，请指定以下信息：

  • 指标维度。维度是用于标识指标的一组名称-值对。Amazon Bedrock 支持以下维度：

    • ModelId – 所有指标

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指标名称，如 InvocationClientErrors。

您可以使用 AWS 管理控制台、或 CloudWatch API 获取亚马逊 Bedrock 的指标。 AWS CLI您可以通过 AWS 软件开发套件 (SDK) 或 CloudWatch API 工具使用该 API。 CloudWatch

要在 CloudWatch 控制台中查看 Amazon Bedrock 指标，请转到导航窗格中的指标部分，选择所有指标选项，然后搜索模型 ID。

您必须拥有相应的 CloudWatch 权限才能通过以下方式监控 Amazon Bedrock。要 CloudWatch 了解更多信息，请参阅亚马逊 CloudWatch 用户指南 CloudWatch中的亚马逊身份验证和访问控制。