部署用于按需推理的自定义模型 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署用于按需推理的自定义模型

在使用模型自定义任务创建自定义模型或导入 SageMaker 经过人工智能训练的自定义Amazon Nova模型后,您可以为该模型设置按需推理。使用按需推理,您只需为实际用量付费,无需设置预配置的计算资源。

要为自定义模型设置按需推理,请使用自定义模型部署进行部署。部署自定义模型后,在提交提示并使用模型推断生成响应时,您可以使用部署的 Amazon 资源名称 (ARN) 作为modelId参数。

有关按需推理定价的信息,请参阅 Amazon Bedrock 定价。您可以在以下区域部署用于按需推理的自定义模型(有关 Amazon Bedrock 支持的区域的更多信息,请参阅 Amazon Bedroc k 终端节点和配额):

  • 美国东部(弗吉尼亚州北部)

支持的基本型号

您可以为以下基础模型设置按需推理:

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro