部署自定义模型进行按需型推理 - Amazon Bedrock
支持的基础模型

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

部署自定义模型进行按需型推理

利用模型自定义作业创建自定义模型或导入经过 SageMaker AI 训练的自定义 Amazon Nova 模型后，您可以为模型设置按需推理。使用按需推理时，您只需按实际用量付费，且无需设置预调配计算资源。

要为自定义模型设置按需推理，您需要使用自定义模型部署来部署模型。部署自定义模型后，在提交提示并使用模型推理生成响应时，您需要使用该部署的 Amazon 资源名称（ARN）作为 modelId 参数。

有关按需推理定价的信息，请参阅 Amazon Bedrock 定价。您可以在以下区域中部署用于按需推理的自定义模型（有关 Amazon Bedrock 支持的区域的更多信息，请参阅 Amazon Bedrock 端点和配额）：

  • 美国东部（弗吉尼亚州北部）

  • 美国西部（俄勒冈州）

主题

支持的基础模型

您可以为以下基础模型设置按需推理：

  • Amazon Nova Lite

  • Amazon Nova Micro

  • Amazon Nova Pro

  • Meta Llama 3.3 70B Instruct