# 模型调用
<a name="model-invocations"></a>

CloudWatch 生成式人工智能可观测性功能便于您监控模型调用性能。您可以使用开箱即用的视图来追踪调用次数、令牌使用量和错误率等指标。要深入分析输入和输出等调用内容，请启用 **Bedrock 调用日志记录**功能，将日志发送到 CloudWatch。有关更多信息，请参阅 [Set up a CloudWatch Logs destination](https://docs.aws.amazon.com/bedrock/latest/userguide/model-invocation-logging.html#setup-cloudwatch-logs-destination) 和 [Help protect sensitive log data with masking](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/mask-sensitive-log-data.html)。

## 在 Amazon Bedrock 中启用模型调用
<a name="enabling-bedrock-invocation"></a>

**注意**  
必须在 Amazon Bedrock 中启用模型调用日志记录功能才能查看调用数据。

按照以下步骤操作，在 Amazon Bedrock 中启用模型调用日志记录功能。

1. 通过以下网址打开 Amazon Bedrock 控制台：[https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/)。

1. 选择**设置**。

1. 在**模型调用日志记录**下，勾选**模型调用日志记录**选项。

1. 选择需要包含在日志中的数据类型。如果已向 Amazon S3 推送日志，可选择仅将日志发送到 CloudWatch Logs，或同时发送到 Amazon S3 和 CloudWatch Logs。

1. 在 CloudWatch Logs 配置中，创建日志组名称并选择适当的服务角色。

1. 选择需要包含在日志中的数据类型。

1. 选择**保存设置**

   只要开始使用 Amazon Bedrock 调用服务，系统会自动显示预配置的控制面板。启用 `Model Invocation logging` 后，即可查看默认控制面板及下方关联的调用记录表。

![生成式人工智能可观测性](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/GenAI.png)

+ **调用次数**：[Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)、[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)、[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) 和 [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) API 操作的成功请求数量
+ **调用延迟**：调用操作的延迟时间
+ **按模型统计的令牌数**：按输入令牌数和输出令牌数划分的模型令牌统计数
+ **按模型 ID 统计的日令牌数**：按模型 ID 统计的每日令牌总数
+ **输入令牌数、输出令牌数**：相应账户所选模型中输入和输出的令牌总数
+ **按输入令牌分组的请求数**：按 6 个区间分组的请求数量。每条线代表落入特定区间的请求数
+ **调用节流数**：系统节流的调用次数。实际显示的节流次数取决于 SDK 中的重试设置。有关更多信息，请参阅《AWS SDKs and Tools Reference Guide》中的 [Retry behavior](https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html)
+ **调用错误次数**：服务端和客户端错误导致的调用失败次数统计

按照以下步骤操作，使用模型调用控制面板。

1. 将鼠标悬停在任意指标图表上方，可查看调用详情。点击**警报**图标设置 `Alarms`，可监控应用程序的质量和性能。

1. 在 **ModelID** 下拉列表中选择一个模型 ID，可查看对应指标。

1. 选择**在 CloudWatch 指标中查看**，可在 CloudWatch 中查看控制面板指标。

1. 选择**时段覆盖**，可调整指标的统计时段（例如：1 分钟、1 小时或 6 小时）。

1. 在**调用**下选择**请求 ID**，可查看请求的详情。在右侧窗格中可查看模型调用输入和输出详情。

![模型调用 – 请求 ID 视图](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/GenAI_Model_Invocation.png)


在**请求 ID** 页面的**操作**下拉列表中，选择**在 Logs Insights 中查看**，即可在 CloudWatch Logs 中查看日志。有关更多信息，请参阅[使用 CloudWatch Logs Insights 分析日志数据](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)。