持续预训练 (CPT) - Amazon Nova

持续预训练 (CPT)

持续预训练（CPT）是一种通过让基础模型接触来自特定领域或语料库的额外无标注文本，从而延长模型预训练阶段的训练技术。监督式微调需要带标注的输入-输出样本对，而 CPT 直接基于原始文档进行训练，帮助模型掌握更深的新领域知识、学习领域专属术语与行文风格，并适配特定内容类型或主题领域。

当您拥有海量（数百亿词元级）的领域专属文本数据（如法律文书、医学文献、技术文档或企业专有内容），并希望模型在该领域具备原生流畅度时，这种方法尤为适用。通常，在 CPT 阶段之后，模型还需要经过额外的指令微调阶段，才能将新学到的知识用于完成实际任务。

支持的模型

CPT 适用于以下 Amazon Nova 模型：

  • Nova 1.0（Micro、Lite、Pro）

  • Nova 2.0（Lite）

满足以下场景时，建议选择 Nova 1.0：

  • 使用案例只需标准语言理解，无需高级推理能力。

  • 希望优化训练与推理成本，降低开销。

  • 重点是让模型学习领域专属知识与行为，而非复杂推理任务。

  • 已在 Nova 1.0 上验证过性能，且无需额外能力。

注意

模型并非越大越优。在 Nova 1.0 与 Nova 2.0 之间选型时，请综合考虑性价比与具体业务需求。