本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在模型调用中使用推理配置文件
您可以使用跨区域推理配置文件代替基础模型将请求路由到多个区域。要在一个或多个区域中跟踪模型的成本和使用情况,您可以使用应用程序推理配置文件。要了解如何在运行模型推理时使用推理配置文件,请选择首选方法的选项卡,然后按照以下步骤操作:
- Console
-
要使用具有支持该功能的推理配置文件,请执行以下操作:
-
使用有权使用 Amazon AWS Management Console Bedrock 控制台的 IAM 委托人登录。然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/
。 -
导航到要使用推理配置文件的功能的页面。例如,从左侧导航窗格中选择 Chat /Text Playground。
-
选择 “选择模型”,然后选择模型。例如,选择亚马逊,然后选择 Nova Premier。
-
在 “推理” 下,从下拉菜单中选择 “推理配置文件”。
-
选择要使用的推理配置文件(例如,美国 Nova Premier),然后选择 “应用”。
-
- API
-
通过以下 API 操作从推理配置文件中包含的任何区域运行该推理时,您可以使用该推理配置文件:
-
InvokeModel或 InvokeModelWithResponseStream— 要在模型调用中使用推理配置文件,请按照中的步骤操作,使用以下命令提交单个提示 InvokeModel并在字段中指定推理配置文件的 Amazon 资源名称 (ARN)。
modelId
有关示例,请参阅在模型调用中使用推理配置文件。 -
Converse or ConverseStream— 要在 Converse API 的模型调用中使用推理配置文件,请按照中的步骤操作,与 Converse API 操作进行对话并在字段中指定推理配置文件的 ARN。
modelId
有关示例,请参阅在模型调用中使用推理配置文件。 -
RetrieveAndGenerate— 要在根据查询知识库的结果生成响应时使用推理配置文件,请按照中 API 选项卡中的步骤操作,利用查询和响应测试知识库并在字段中指定推理配置文件的 ARN。
modelArn
有关更多信息,请参阅 Use an inference proflie to generate a response。 -
CreateEvaluationJob— 要提交推理配置文件以进行模型评估,请按照中 API 选项卡中的步骤操作,在 Amazon Bedrock 中开始自动模型评估工作并在字段中指定推理配置文件的 ARN。
modelIdentifier
-
CreatePrompt— 要在为在 Prompt management 中创建的提示生成响应时使用推理配置文件,请按照中 API 选项卡中的步骤操作,使用提示管理器创建提示并在字段中指定推理配置文件的 ARN。
modelId
-
CreateFlow— 要在为在流程的提示节点内定义的内联提示生成响应时使用推理配置文件,请按照中 “API” 选项卡中的在 Amazon Bedrock 中创建和设计流程步骤进行操作。在定义提示节点时,在字段中指定推理配置文件的 ARN。
modelId
-
CreateDataSource— 要在解析数据源中的非文本信息时使用推理配置文件,请按照中 API 部分中的步骤操作,并在字段中数据源的解析选项指定推理配置文件的 ARN。
modelArn
注意
如果您使用的是跨区域(系统定义的)推理配置文件,则可以使用推理配置文件的 ARN 或 ID。
-