本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在模型调用中使用推理配置文件
您可以使用跨区域推理配置文件代替基础模型,将请求路由到多个区域。要在一个或多个区域中追踪模型的成本和使用情况,您可以使用应用程序推理配置文件。要了解如何在运行模型推理时使用推理配置文件,请选择与您的首选方法对应的选项卡,然后按照以下步骤操作:
- Console
-
要将推理配置文件与支持推理配置文件的功能结合使用,请执行以下操作:
-
采用有权使用 Amazon Bedrock 控制台的 IAM 身份登录 AWS 管理控制台。然后,通过以下网址打开 Amazon Bedrock 控制台:https://console.aws.amazon.com/bedrock
。 -
导航到要使用推理配置文件的功能的页面。例如,从左侧导航窗格中选择聊天/文本演练场。
-
选择选择模型,然后选择相应模型。例如,选择 Amazon,然后选择 Nova Premier。
-
在推理下,从下拉菜单中选择推理配置文件。
-
选择要使用的推理配置文件(例如,US Nova Premier),然后选择应用。
-
- API
-
通过以下 API 操作,从推理配置文件中包含的任何区域运行推理时,您可以使用该推理配置文件:
-
InvokeModel 或 InvokeModelWithResponseStream – 要在模型调用中使用推理配置文件,请按照使用以下命令提交单个提示 InvokeModel中的步骤操作,并在
modelId字段中指定推理配置文件的 Amazon 资源名称(ARN)。有关示例,请参阅在模型调用中使用推理配置文件。 -
Converse 或 ConverseStream – 要通过 Converse API 在模型调用中使用推理配置文件,请按照使用 Converse API 操作进行对话中的步骤操作,并在
modelId字段中指定推理配置文件的 ARN。有关示例,请参阅在模型调用中使用推理配置文件。 -
RetrieveAndGenerate – 要在根据查询知识库的结果生成响应时使用推理配置文件,请按照利用查询和响应测试知识库中 API 选项卡中的步骤操作,并在
modelArn字段中指定推理配置文件的 ARN。有关更多信息,请参阅使用推理配置文件生成响应。 -
CreateEvaluationJob – 要提交模型评测的推理配置文件,请按照在 Amazon Bedrock 中启动自动模型评测作业中 API 选项卡中的步骤操作,并在
modelIdentifier字段中指定推理配置文件的 ARN。 -
CreatePrompt – 要在为提示管理中创建的提示生成响应时使用推理配置文件,请按照使用提示管理器创建提示中 API 选项卡中的步骤操作,并在
modelId字段中指定推理配置文件的 ARN。 -
CreateFlow – 要在为在流的提示节点内定义的内联提示生成响应时使用推理配置文件,请按照在 Amazon Bedrock 中创建和设计流中 API 选项卡中的步骤进行操作。在定义提示节点时,在
modelId字段中指定推理配置文件的 ARN。 -
CreateDataSource – 要在解析数据来源中的非文本信息时使用推理配置文件,请按照数据来源的解析选项中 API 部分中的步骤操作,并在
modelArn字段中指定推理配置文件的 ARN。
注意
如果您使用的是跨区域(系统定义的)推理配置文件,则可使用推理配置文件的 ARN 或 ID。
-