本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为自定义模型设置推理
创建自定义模型后,您可以使用以下选项之一设置推理:
-
购买预配置吞吐量 — 为您的模型购买预配置吞吐量,以设置具有保证吞吐量的专用计算容量,从而实现稳定的性能和更低的延迟。
有关预调配吞吐量的更多信息,请参阅利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量。有关使用具有预置吞吐量的自定义模型的更多信息,请参阅为自定义模型购买预调配吞吐量。
-
为按需推理部署自定义模型(仅限Amazon Nova模型)— 要设置按需推理,请使用自定义模型部署来部署模型。部署模型后,使用自定义模型部署的 ARN 调用模型。使用按需推理,您只需为实际用量付费,无需设置预配置的计算资源。
有关为按需推理部署自定义模型的更多信息,请参阅部署用于按需推理的自定义模型。