在模型调用中使用推理配置文件 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在模型调用中使用推理配置文件

您可以使用跨区域推理配置文件代替基础模型,将请求路由到多个区域。要在一个或多个区域中追踪模型的成本和使用情况,您可以使用应用程序推理配置文件。要了解如何在运行模型推理时使用推理配置文件,请选择与您的首选方法对应的选项卡,然后按照以下步骤操作:

Console

要将推理配置文件与支持推理配置文件的功能结合使用,请执行以下操作:

  1. 采用有权使用 Amazon Bedrock 控制台的 IAM 身份登录 AWS 管理控制台。然后,通过以下网址打开 Amazon Bedrock 控制台:https://console.aws.amazon.com/bedrock

  2. 导航到要使用推理配置文件的功能的页面。例如,从左侧导航窗格中选择聊天/文本演练场

  3. 选择选择模型,然后选择相应模型。例如,选择 Amazon,然后选择 Nova Premier

  4. 推理下,从下拉菜单中选择推理配置文件

  5. 选择要使用的推理配置文件(例如,US Nova Premier),然后选择应用

API

通过以下 API 操作,从推理配置文件中包含的任何区域运行推理时,您可以使用该推理配置文件:

注意

如果您使用的是跨区域(系统定义的)推理配置文件,则可使用推理配置文件的 ARN 或 ID。