为自定义模型设置推理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

为自定义模型设置推理

创建自定义模型后,您可以使用下列选项之一来设置推理:

  • 购买预调配吞吐量 – 为模型购买预调配吞吐量,以设置具备有保障的吞吐量的专用计算容量,从而实现稳定的性能和更低的延迟。

    有关预调配吞吐量的更多信息,请参阅利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量。有关将自定义模型与预调配吞吐量结合使用的更多信息,请参阅为自定义模型购买预调配吞吐量

  • 部署自定义模型以实现按需推理 – 要设置按需推理,请使用自定义模型部署操作来部署模型。模型部署完成后,您可以使用自定义模型部署对应的 ARN 来调用模型。使用按需推理时,您只需按实际用量付费,且无需设置预调配计算资源。

    有关部署自定义模型以进行按需推理的更多信息,请参阅部署自定义模型进行按需型推理