为自定义模型购买预调配吞吐量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为自定义模型购买预调配吞吐量

要使用具有专用计算容量和有保证吞吐量的自定义模型,您可以为其购买预配置吞吐量。然后,您可以使用生成的预调配模型进行推理。有关预调配吞吐量的更多信息,请参阅利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量

Console
为自定义模型购买预调配吞吐量。
  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS Management Console 然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格的基础模型下,选择自定义模型

  3. 模型选项卡中,选择您要为其购买预调配吞吐量的模型旁边的单选按钮,或者选择模型名称以导航到详细信息页面。

  4. 选择购买预调配吞吐量

  5. 有关更多详细信息,请参阅为 Amazon Bedrock 模型购买预调配吞吐量中的步骤。

  6. 为自定义模型购买预调配吞吐量后,请按照将预调配吞吐量与 Amazon Bedrock 资源结合使用中的步骤操作。

当您执行任何支持使用自定义模型的操作时,您会在模型选择菜单中看到自定义模型选项。

API

要购买自定义模型的预配置吞吐量,请按照中的步骤使用 Amazon Bedrock 控制平面终端节点发送 CreateProvisionedModelThroughput(请求和响应格式以及字段详情链接)请求。为 Amazon Bedrock 模型购买预调配吞吐量使用自定义模型的名称或 ARN 作为 modelId。响应会返回一个provisionedModelArn,您可以在发出InvokeModelInvokeModelWithResponseStream请求modelId时将其用作的。

参阅代码示例