修改预调配吞吐量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

修改预调配吞吐量

购买后可以编辑的预配置吞吐量的各个方面取决于配置模式。对于按模型单位划分的预配置吞吐量,您只能编辑预配置吞吐量的名称和标签,如果是自定义模型,则只能编辑模型。

借助按令牌预配置吞吐量,您可以有更多选择,包括修改预配置吞吐量的每分钟输入和输出令牌数量。

请参阅以下章节,详细了解如何编辑要修改的预配置吞吐量类型。

按模型单位修改预置吞吐量

您可以编辑现有预调配吞吐量的名称或标签。

以下限制适用于更改与预调配吞吐量关联的模型的情况:

  • 您无法更改与基础模型关联的预调配吞吐量的模型。

  • 如果预调配吞吐量与某个自定义模型关联,您可以将关联更改到进行自定义所基于的基础模型,或者更改到从同一基础模型派生的另一个自定义模型。

在预调配吞吐量更新期间,您可以使用预调配吞吐量运行推理,而不会中断来自终端客户的持续流量。如果更改了与预调配吞吐量关联的模型,您可能会收到旧模型的输出,直到更新完全部署完成。

要了解如何编辑预配置吞吐量,请选择首选方法的选项卡,然后按照以下步骤操作:

Console
  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。AWS 管理控制台然后,在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

  2. 从左侧导航窗格中,选择预调配吞吐量

  3. 预调配吞吐量部分中,选择一个预调配吞吐量。

  4. 选择编辑。您可以编辑以下字段:

    • 预调配吞吐量的名称 - 更改预调配吞吐量的名称。

    • 选择模型 - 如果预调配吞吐量与某个自定义模型关联,您可以更改关联的模型。

  5. 您可以在标签部分编辑与预调配吞吐量关联的标签。有关更多信息,请参阅 标记 Amazon Bedrock 资源

  6. 要保存更改,请选择保存编辑内容

  7. 此时控制台会显示预调配吞吐量概览页面。“预调配吞吐量”表中的预调配吞吐量的状态将变为正在更新。预调配吞吐量更新完毕后,状态将变为服务中。如果更新失败,状态将变为失败

API

要编辑预配置吞吐量,请使用 Amazon Bedrock 控制平面终端节点发送UpdateProvisionedModelThroughput请求。

要详细了解请求正文和您需要提供的参数,请参阅UpdateProvisionedModelThroughputAmazon Bedrock API 参考》。

如果操作成功,响应会返回 HTTP 200 状态代码。要检查预配置吞吐量何时可供使用,请发送GetProvisionedModelThroughput请求并检查状态是否为InService。当预调配吞吐量的状态为 Updating 时,您无法更新或删除该吞吐量。如果更新失败,则其状态将为FailedGetProvisionedModelThroughput响应中将包含failureMessage

要向预配置吞吐量添加标签,请使用 Amazon Bedrock 控制平面终端节点发送TagResource请求,并包含预配置吞吐量的亚马逊资源名称 (ARN)。请求正文包含一个 tags 字段,该字段是一个对象,其中包含您为每个标签指定的键值对。

要从预配置吞吐量中删除标签,请使用 Amazon Bedrock 控制平面终端节点发送UntagResource请求,并附上预配置吞吐量的亚马逊资源名称 (ARN)。tagKeys 请求参数是一个列表,其中包含要移除的标签的键。

参阅代码示例