创建应用程序推理配置文件 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建应用程序推理配置文件

您可以创建包含一个或多个区域的应用程序推理配置文件,以追踪调用模型时的使用情况和成本。

  • 要为一个区域创建应用程序推理配置文件,请指定基础模型。将追踪使用该模型向这一地区发出的请求的使用情况和成本。

  • 要为多个区域创建应用程序推理配置文件,请指定跨区域(系统定义的)推理配置文件。推理配置文件会将请求路由至您选择的跨区域(系统定义的)推理配置文件中所定义的区域。将追踪向推理配置文件中的多个区域发出的请求的使用情况和成本。

目前,您只能使用 Amazon Bedrock API 创建推理配置文件。

要创建推理配置文件,请使用 Amazon Bedrock 控制平面终端节点发送CreateInferenceProfile请求。

以下字段是必填字段:

字段 使用案例
inferenceProfileName 指定推理配置文件的名称。
modelSource 指定基础模型或跨区域(系统定义的)推理配置文件,以定义模型以及要追踪其成本和使用情况的区域。

以下字段是可选字段:

字段 使用案例
描述 为推理配置文件提供描述。
标签 为推理配置文件附加标签。有关更多信息,请参阅使用成本分配标签标记 Amazon Bedrock 资源组织和跟踪AWS成本。
clientRequestToken 确保 API 请求仅完成一次。有关更多信息,请参阅确保幂等性

响应返回的 inferenceProfileArn 可用在与推理配置文件相关的其他操作中,也可以与模型调用和 Amazon Bedrock 资源一起使用。