View a markdown version of this page

Amazon Nova 配方 - Amazon Nova

Amazon Nova 配方

您可以从配方存储库中获取 Amazon Nova 配方。Amazon Nova 配方是指 YAML 配置文件,该文件向 SageMaker 提供有关如何运行模型自定义作业的详细信息。它提供基本模型名称、设置训练超参数、定义优化设置,并且包括成功微调或训练模型所需的任何其他选项。

您还可以通过 SageMaker AI Monarch 访问 Amazon Nova 配方:进入模型中心,选择 AWS,浏览 Amazon Nova 模型,即可找到其关联的配方。SageMaker AI Monarch 为每个配方都提供了示例笔记本,其中包括修改配方以及使用 SageMaker 训练作业或 SageMaker HyperPod 环境运行自定义作业的所有必要步骤。

要访问 Amazon SageMaker Studio 中的配方页面,执行角色必须具有以下权限。

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

要在 SageMaker 训练作业上执行示例笔记本,请使用以下 SageMaker 分发映像版本之一:2.7.1+2.8.0+3.2.1+3.3.0+。这适用于 SageMaker AI Monarch。

获取 Amazon Nova 配方

要获取基本 Amazon Nova 配方,请运行以下命令克隆配方存储库。

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

可通过 recipes_collection/recipes/ 获得基本配方。

cd recipes_collection/recipes/

Amazon Nova 自定义配方位于以下文件夹中。

食谱类型 Folder
SFT(全秩和 PEFT) fine-tuning/nova
评估 evaluation/nova
CPT training/nova

获取 Amazon Nova Forge 配方

如需访问作业专用的 Amazon Nova Forge 配方,请先完成 Amazon Nova Forge 访问权限设置,然后按照本讲习会完成 Forge 版 CLI 的设置。对于 SageMaker 训练作业,AWS 管理控制台和 Nova Forge SDK 将自动访问 Forge 配方。

可用的模型和算法

下表汇总了 Amazon Nova 模型自定义功能的可用情况,以及使用 SageMaker 的支持算法。

模型名称

模型 ID

微调

备注

Amazon Nova Lite 2.0

amazon.nova-2-lite-v1:0:256k

  • SFT:接受文本和/或图像或文本和/或视频作为输入,并生成文本作为输出。单个作业不能在同一次运行中合并文本、图像和视频。

  • RFT:支持以文本和图像作为单轮对话的输入,并输出文本。具备更优的奖励优化能力。

  • CPT

Amazon Nova 2.0 Lite

下表列出了 Amazon Nova 2.0 Lite 配方参考的详细信息。

模型 类别/子类别 方法 配方名称 映像 URI(训练作业) 映像 URI(SageMaker HyperPod) 计算实例
Nova 2.0 Lite 训练 持续预训练 nova_lite_2_0_p5x8_gpu_pretrain.yaml 不适用 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-CPT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 参数高效微调 微调 nova_lite_2_0_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 全秩微调 微调 nova_lite_2_0_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 参数高效 RFT 微调 nova_lite_v2_smtj_p5_p5en_gpu_lora_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 全秩 RFT 微调 nova_lite_v2_smtj_p5en_gpu_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 自带数据 评估 nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 通用文本基准 评估 nova_lite_2_0_p5_48xl_gpu_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite RFT 评测 评估 nova_lite_2_0_p5_48xl_gpu_rft_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite LLM Rubric Judge 评估 nova_lite_2_0_p5_48xl_gpu_rubric_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge