使用 CloudWatch 指标监控 Amazon 基岩代理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 CloudWatch 指标监控 Amazon 基岩代理

下表描述了 Amazon Bedrock Agents 提供的运行时指标,您可以使用亚马逊 CloudWatch 指标对其进行监控。

运行时指标

指标名称 单位 说明
InvocationCount SampleCount 请求执行 API 操作的次数
TotalTime 毫秒 服务器处理请求所花费的时间
TTFT 毫秒 Time-to-first-token 公制。为 invokeAgentinvokeInlineAgent 请求启用流式处理配置时发出
InvocationThrottles SampleCount 系统节流的调用次数。受限请求和其他调用错误不会计入调用次数或错误次数。
InvocationServerErrors SampleCount 导致服务器端错误的调用次数 AWS
InvocationClientErrors SampleCount 导致发生客户端错误的调用次数
ModelLatency 毫秒 模型的延迟
ModelInvocationCount SampleCount 代理向模型发出的请求数
ModelInvocationThrottles SampleCount Amazon Bedrock 核心限制的模型调用次数。受限请求和其他调用错误不会计入调用次数或错误次数。
ModelInvocationClientErrors SampleCount 导致发生客户端错误的模型调用次数
ModelInvocationServerErrors SampleCount 导致服务器端错误的模型调用次数 AWS
InputTokenCount SampleCount 输入到模型的词元数。
outputTokenCount SampleCount 从模型输出的词元数。

您可以根据下表在 CloudWatch 控制台中查看代理维度:

维度

维度名称 维度值 适用于以下指标
操作 InvokeAgent, InvokeInlineAgent
  • InvocationCount

  • TotalTime

  • TTFT

  • InvocationThrottles

  • InvocationServerErrors

  • InvocationClientErrors

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLient错误

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

操作, ModelId Operation 维度中列出的任意 Amazon Bedrock 代理操作以及任意 Amazon Bedrock 核心模型的 modelId
  • TotalTime

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLient错误

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

操作, AgentAliasArn, ModelId Operation 维度中列出的任意 Amazon Bedrock 代理操作以及 Amazon Bedrock 模型的任意 modelId(按代理别名的 agentAliasArn 分组)
  • InvocationCount

  • TotalTime

  • TTFT

  • InvocationThrottles

  • InvocationServerErrors

  • InvocationClientErrors

  • ModelLatency

  • ModelInvocationCount

  • ModelInvocationThrottles

  • ModelInvocationCLient错误

  • ModelInvocationServerErrors

  • InputTokenCount

  • OutputTokenCount

为代理使用 CloudWatch 指标

您可以使用AWS管理控制台、CLI 或 CloudWatch AP AWS I 获取代理的指标。您可以通过其中一个AWS软件开发套件 (SDKs) 或 CloudWatch API 工具来使用 API。 CloudWatch

中代理指标的命名空间 CloudWatch 为AWS/Bedrock/Agents

您必须具有相应的 CloudWatch 权限才能使用监控代理 CloudWatch。有关更多信息,请参阅《 CloudWatch 用户指南》 CloudWatch中的身份验证和访问控制

重要

如果您不 CloudWatch 想将收集的数据用于 CloudWatch 服务改进,则可以创建选择退出政策。有关更多信息,请参阅人工智能服务退出政策

如果您没有看到 CloudWatch 控制面板中发布的指标,请确保用于创建代理的 IAM 服务角色具有以下策略。

JSON
{ "Version":"2012-10-17", "Statement": { "Effect": "Allow", "Resource": "*", "Action": "cloudwatch:PutMetricData", "Condition": { "StringEquals": { "cloudwatch:namespace": "AWS/Bedrock/Agents" } } } }