View a markdown version of this page

使用指标监控基底运行时推断 CloudWatch - Amazon Bedrock
Amazon Bedrock 运行时指标模型调用日志指标 CloudWatch

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用指标监控基底运行时推断 CloudWatch

Amazon Bedrock bedrock-runtime.region.amazonaws.com 终端节点在AWS/Bedrock命名空间 CloudWatch 下向亚马逊发布指标。使用这些指标来监控调用量、延迟、令牌消耗、错误率和模型调用日志传输。

如果您的应用程序通过调用推理bedrock-mantle.region.api.aws，请参阅使用指标监控基岩地幔推断 CloudWatch。

Amazon Bedrock 运行时指标

下表描述了 Amazon Bedrock 提供的运行时指标。

指标名称 单位 说明
Invocations SampleCount 成功请求匡威、ConverseStreamInvokeModel、和 InvokeModelWithResponseStreamAPI 操作的次数。

InvocationLatency

 MilliSeconds

从发送请求到收到最后一个令牌的时间。

要区分由服务端吞吐量变化引起的延迟增加和模型响应时间较长导致的延迟增加，请参阅使用每秒输出令牌 (OTPS) 进行诊断InvocationLatency增加。

InvocationClientErrors

 SampleCount

导致发生客户端错误的调用次数。

InvocationServerErrors

 SampleCount

导致 AWS 服务器端错误的调用次数。

InvocationThrottles

 SampleCount

系统节流的调用次数。受限请求和其他调用错误不会计入调用次数或错误次数。实际显示的节流次数取决于 SDK 中的重试设置。有关更多信息，请参阅 AWS SDK 和工具参考指南中的重试行为。

InputTokenCount

 SampleCount

输入中的令牌数。
LegacyModelInvocations SampleCount 使用旧版模型的调用次数

OutputTokenCount

 SampleCount

输出中的令牌数。

OutputImageCount

 SampleCount

输出中的图像数（仅适用于图像生成模型）。

TimeToFirstToken

 MilliSeconds

从发送请求到收到第一个令牌的时间，用于ConverseStream和InvokeModelWithResponseStream流式传输 API 操作。

EstimatedTPMQuotaUsage

 SampleCount

C onverse、、ConverseStream和 InvokeModelWithResponseStreamAPI 操作的每分钟代币 (TPM) 配额消耗量估计。InvokeModel该指标是一个近似值，并不反映推动限制决策的基于预留的代币消耗。限制基于输入令牌的预留额加上max_tokens（参见Amazon Bedrock 中词元的计算方式），这可能与此估计值有所不同。请勿将此指标用作配额使用量或容量规划的唯一指标。

CacheReadInputTokens

 SampleCount

从提示缓存中读取的输入令牌的数量。这些代币按较低的费率收费，不计入您的TPM配额。

CacheWriteInputTokens

 SampleCount

写入提示缓存的输入令牌的数量。这些代币计入您的 TPM 配额。

还提供了针对 Amazon Bedrock 护栏和 Amazon Bedrock 代理的指标。

模型调用日志指标 CloudWatch

对于每次成功或失败的配送尝试，都会在命名空间AWS/Bedrock和Across all model IDs维度下发出以下 Amazon CloudWatch 指标：

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

要检索 Amazon Bedrock 操作的指标，请指定以下信息：

  • 指标维度。维度是用于标识指标的一组名称-值对。Amazon Bedrock 支持以下维度：

    • ModelId – 所有指标

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指标名称，如 InvocationClientErrors。

您可以通过 AWS 管理控制台、或 CloudWatch API 获取 Amazon Bedrock 的指标。 AWS CLI您可以通过其中一个 AWS 软件开发套件 (SDK) 或 CloudWatch API 工具来使用 API。 CloudWatch

要在 CloudWatch 控制台中查看 Amazon Bedrock 指标，请前往导航窗格的指标部分并选择所有指标选项，然后搜索型号 ID。

您必须拥有相应的 CloudWatch 权限才能监控 Amazon Bedrock。 CloudWatch 有关更多信息，请参阅亚马逊 CloudWatch 用户指南 CloudWatch中的亚马逊身份验证和访问控制。