监督式微调(SFT) - Amazon Nova

监督式微调(SFT)

SFT 训练流程主要包含两个阶段:

  • 数据准备:遵循既定指南,创建、清理或重新格式化数据集,使其符合所需结构。确保输入、输出和辅助信息(例如推理轨迹或元数据)正确对齐和格式化。

  • 训练配置:定义模型的训练方式。使用时,此配置是在 YAML 配方文件中编写的,包括:

    • 数据来源路径(训练和验证数据集)

    • 关键超参数(epoch、学习率、批次大小)

    • 可选组件(分布式训练参数等)

Nova 模型对比与选型

Amazon Nova 2.0 模型的训练数据集比 Nova 1.0 模型规模更大、种类更丰富。重要改进包括:

  • 增强的推理能力,支持显式推理模式

  • 更广泛的多语言性能,覆盖更多语种

  • 在代码生成、工具调用等复杂任务上表现更优

  • 扩展的上下文处理能力,在更长上下文中实现更高的准确性和稳定性

何时选用 Nova 1.0 与 Nova 2.0

满足以下条件时,建议选择 Amazon Nova 1.0:

  • 使用案例只需标准语言理解,无需高级推理能力

  • 模型效果已在 Amazon Nova 1.0 上验证通过,无需额外能力扩展