监控 Amazon Bedrock 的性能 - Amazon Bedrock
Amazon Bedrock 运行时指标CloudWatch Amazon Bedrock 的指标

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

监控 Amazon Bedrock 的性能

您可以使用 Amazon 监控您的 Amazon Bedrock 应用程序的所有部分 CloudWatch，亚马逊会收集原始数据并将其处理为可读的近乎实时的指标。您可以使用 CloudWatch控制台绘制指标的图表。此外，您还可以设置警报来监视特定阈值，并在值超出这些阈值时发送通知或采取措施。

有关更多信息，请参阅《亚马逊 CloudWatch 用户指南》 CloudWatch中的 “什么是亚马逊”。

Amazon Bedrock 为您的应用程序的不同组件提供全面的监控功能：

主题

Amazon Bedrock 运行时指标

下表描述了 Amazon Bedrock 提供的运行时指标。

指标名称 单位 说明
Invocations SampleCount 成功请求匡威、ConverseStreamInvokeModel、和 InvokeModelWithResponseStreamAPI 操作的次数。

InvocationLatency

 MilliSeconds

调用的延迟时间。

InvocationClientErrors

 SampleCount

导致发生客户端错误的调用次数。

InvocationServerErrors

 SampleCount

导致 AWS 服务器端错误的调用次数。

InvocationThrottles

 SampleCount

系统节流的调用次数。受限请求和其他调用错误不会计入调用次数或错误次数。实际显示的节流次数取决于 SDK 中的重试设置。有关更多信息，请参阅《工具参考指南》 AWS SDKs 和《工具参考指南》中的重试行为。

InputTokenCount

 SampleCount

输入中的令牌数。
LegacyModelInvocations SampleCount 使用旧版模型的调用次数

OutputTokenCount

 SampleCount

输出中的令牌数。

OutputImageCount

 SampleCount

输出中的图像数（仅适用于图像生成模型）。

还提供了针对 Amazon Bedrock 护栏和 Amazon Bedrock 代理的指标。

CloudWatch Amazon Bedrock 的指标

对于每次成功或失败的配送尝试，都会在命名空间AWS/Bedrock和Across all model IDs维度下发出以下 Amazon CloudWatch 指标：

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

要检索 Amazon Bedrock 操作的指标，请指定以下信息：

  • 指标维度。维度是用于标识指标的一组名称-值对。Amazon Bedrock 支持以下维度：

    • ModelId – 所有指标

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指标名称，如 InvocationClientErrors。

您可以通过 AWS 管理控制台、或 CloudWatch API 获取 Amazon Bedrock 的指标。 AWS CLI您可以通过其中一个 AWS 软件开发套件 (SDKs) 或 CloudWatch API 工具来使用 API。 CloudWatch

要在 CloudWatch 控制台中查看 Amazon Bedrock 指标，请前往导航窗格的指标部分并选择所有指标选项，然后搜索型号 ID。

您必须拥有相应的 CloudWatch 权限才能监控 Amazon Bedrock。 CloudWatch 有关更多信息，请参阅亚马逊 CloudWatch 用户指南 CloudWatch中的亚马逊身份验证和访问控制。