在模型调用中使用推理配置文件 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在模型调用中使用推理配置文件

您可以使用跨区域推理配置文件代替基础模型将请求路由到多个区域。要在一个或多个区域中跟踪模型的成本和使用情况,您可以使用应用程序推理配置文件。要了解如何在运行模型推理时使用推理配置文件,请选择首选方法的选项卡,然后按照以下步骤操作:

Console

要使用具有支持该功能的推理配置文件,请执行以下操作:

  1. 使用有权使用 Amazon AWS Management Console Bedrock 控制台的 IAM 委托人登录。然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/

  2. 导航到要使用推理配置文件的功能的页面。例如,从左侧导航窗格中选择 Chat /Text Playground。

  3. 选择 “选择模型”,然后选择模型。例如,选择亚马逊,然后选择 Nova Premier

  4. 在 “推理” 下,从下拉菜单中选择 “推理配置文件”。

  5. 选择要使用的推理配置文件(例如,美国 Nova Premier),然后选择 “应用”。

API

通过以下 API 操作从推理配置文件中包含的任何区域运行该推理时,您可以使用该推理配置文件:

注意

如果您使用的是跨区域(系统定义的)推理配置文件,则可以使用推理配置文件的 ARN 或 ID。