为自定义模型购买预调配吞吐量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为自定义模型购买预调配吞吐量

要使用具有专用计算容量和有保证吞吐量的自定义模型，您可以为其购买预配置吞吐量。然后，您可以使用生成的预调配模型进行推理。有关预调配吞吐量的更多信息，请参阅预调配吞吐量。

Console
为自定义模型购买预调配吞吐量。

  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS 管理控制台 然后，在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

  2. 在左侧导航窗格的基础模型下，选择自定义模型。

  3. 在模型选项卡中，选择您要为其购买预调配吞吐量的模型旁边的单选按钮，或者选择模型名称以导航到详细信息页面。

  4. 选择购买预调配吞吐量。

  5. 有关更多详细信息，请按照预配置吞吐量文档中的步骤进行操作。

  6. 为您的自定义模型购买预置吞吐量后，请按照预配置吞吐量使用量文档中的步骤进行操作。

当您执行任何支持使用自定义模型的操作时，您会在模型选择菜单中看到自定义模型选项。

API

要购买自定义模型的预配置吞吐量，请按照预配置吞吐量文档中的步骤，使用 A mazon Bedrock 控制平面终端节点发送 CreateProvisionedModelThroughput（请求和响应格式以及字段详情链接）请求。使用自定义模型的名称或 ARN 作为 modelId。响应会返回一个provisionedModelArn，您可以在发出InvokeModel或InvokeModelWithResponseStream请求modelId时将其用作的。

参阅代码示例