在 SageMaker AI 上自定义 Amazon Nova 模型 - Amazon Nova

在 SageMaker AI 上自定义 Amazon Nova 模型

注意

本文档适用于 Amazon Nova 版本 1。Amazon Nova 2 现已推出新的模型和增强功能。有关如何自定义 Amazon Nova 2 的信息，请访问自定义 Amazon Nova 2 模型。

您可以通过配方自定义 Amazon Nova 模型（包括增强版 Amazon Nova 2.0 模型），并在 SageMaker 上完成模型训练。这些配方支持监督式微调（SFT）、直接偏好优化（DPO）、强化微调（RFT）之类的技术，同时提供全秩适配与低秩适配（LoRA）选项。

端到端自定义工作流程包括模型训练、模型评测和推理部署等阶段。SageMaker 上的这种模型自定义方法提供了更大的灵活性和控制力，可以微调其支持的 Amazon Nova 模型，精确地优化超参数，并实施诸如 LoRA 参数高效微调（PEFT）、全秩 SFT、DPO、RFT、持续预训练（CPT）、近端策略优化（PPO）等技术。

SageMaker 提供了两个用于自定义 Amazon Nova 模型的环境。

  • SageMaker 训练作业提供了一个完全托管的环境供用于自定义 Amazon Nova 模型，无需您创建或维护任何集群。该服务会自动处理所有基础设施预调配、扩展和资源管理，使您能够专注于配置训练参数和提交作业。您可以可通过 SageMaker 训练作业，使用参数高效微调（PEFT）、全秩微调、直接偏好优化（DPO）及强化微调（RFT）等技术对 Nova 模型进行定制。有关更多信息，请参阅 基于 SageMaker 训练作业自定义 Amazon Nova。

    注意

    如果为 Amazon Nova 模型自定义训练作业提供 KMS 密钥，用于对 Amazon 拥有的输出 S3 存储桶进行加密：

    • 在调用后续的迭代训练作业，或在调用 Amazon Bedrock 的 CreateCustomModel API 以使用该加密模型时，必须提供相同的 KMS 密钥。

    • 调用 CreateTrainingJob API 的身份（而非执行角色）必须具备 KMS 密钥策略中定义的以下权限：CreateGrant、RetireGrant、Encrypt、GenerateDataKey。

  • SageMaker HyperPod 通过要求您创建和管理带有受限实例组（RIG）的 EKS 集群，提供了一个专门的环境用于训练 Amazon Nova 模型。该环境使您可以灵活地使用专用 GPU 实例和集成的适用于 Lustre 的 Amazon FSx 存储来配置训练环境，使其特别适合高级分布式训练场景和日常的模型开发。有关更多信息，请参阅 基于 SageMaker HyperPod 的 Amazon Nova 自定义。

在本章中