持续预训练与中期训练

Nova Forge CPT 提供了超越标准 CPT 的高级功能，包括访问中间检查点以及与 Nova 预训练语料库进行数据混合。这些功能可以实现更高效的领域适应性，并更好地保留模型的通用能力。

什么是中间检查点？为什么需要它们？

中间检查点是 Amazon Nova 模型在预训练的不同阶段、在模型达到最终生产就绪状态之前保存的快照。在模型开发过程中，Amazon Nova 会经历多个训练阶段：使用恒定学习率进行初始预训练、学习率衰减、上下文扩展训练，以及最后的指令遵循对齐和安全训练。对于 CPT，中间检查点通常比最终的生产检查点更可取，因为它们更具可塑性，更易于领域适应。生产检查点经过了大量的指令遵循对齐和安全训练，这优化了模型的通用对话能力，但可能使其在 CPT 期间难以学习新的领域特定模式。相比之下，部分预训练和完全预训练的纯文本检查点保留了模型的预训练特征。它们尚未被强烈引导至特定行为模式，使其成为更高效的领域适应起点。当执行大规模 CPT（>100 亿个词元）时，从中间检查点开始通常可以加快收敛速度、提高训练稳定性以及更高效地获取领域知识。然而，执行小规模 CPT（<100 亿个词元）时，或者需要保留指令遵循能力时，生产检查点可能更合适，因为它允许在保持模型对话能力的同时进行领域适应。

CPT 需要多个中间检查点，因为它们提供了不同级别的模型可塑性，这会影响模型吸收新领域知识的效率。最终的生产检查点经过了大量的指令遵循对齐和安全训练，这优化了模型的通用对话能力，但也使其难以学习新的领域特定模式。换句话说，检查点通过训练后步骤得到了强化。相比之下，早期的检查点保留了模型的预训练特征，没有被强烈引导至特定行为，因此更具可塑性，更容易接受领域适应。

为实现最佳训练效率，我们提供了多个中间检查点。

有哪些可用的检查点？

Nova 2.0

有三个 Amazon Nova Lite 2.0 检查点。

下表详细说明了预训练和中期训练的不同条件。

应该使用哪个检查点？

部分预训练的纯文本检查点和完全预训练的纯文本检查点通常收敛更快，并且领域适应所需的训练步骤更少。然而，它们没有经过指令调整，需要经过训练后的步骤才能执行有用的任务并遵循指令。GA 检查点可能需要更多步骤来适应，但为小规模实验提供了更安全的起点，即使在 CPT 训练后也能保持其部分训练后能力。

通常，对于大型训练数据集（>100 亿个词元），从部分预训练的纯文本检查点或完全预训练的纯文本检查点开始，可以提高训练的效率和稳定性，因为模型的知识库将大幅修改。对于小型数据集（<100 亿个词元），使用 GA 检查点可以在适应领域的同时保留指令遵循能力。

如何为 Nova 2.0 使用数据混合？

使用新的领域数据执行 CPT 时，将新数据与模型在预训练阶段之前使用过的部分数据混合非常有益。将旧数据与新的领域数据混合可以解决两个问题：

Nova CPT 数据混合能力

访问 Amazon Nova 预训练数据和检查点是 Amazon Nova CPT 自定义服务的核心功能之一。Amazon Nova CPT 自定义服务可以轻松将领域数据与 Amazon Nova 的预训练语料库混合。此外，可以更改特定 Amazon Nova 数据类别（例如代码、数学、推理等）的采样比率，并控制其比例以补充领域数据。这可以在使模型适应特定领域的同时，强化与使用案例相符的能力。

寻找最佳混合比率

Amazon Nova 数据与领域数据的最佳比率取决于数据集的领域、复杂性、规模、质量以及保持通用能力的重要性。这个比率需要通过实验来发现。以下是决定混合多少 Amazon Nova 数据的实验框架。

选择具有代表性的领域数据子集（例如 50 亿个词元），并在所有实验运行中保持此数量不变。

运行小规模 CPT 实验，仅改变混合的 Amazon Nova 数据量：

在领域内基准测试和通用领域基准测试上评估每个检查点。同时评估起始检查点（任何训练开始前的 Amazon Nova 检查点）。

确定最佳混合比率后，使用具有所选混合比率的完整领域数据集运行全面的 CPT。

剖析数据混合类别

下面，我们将剖析数据混合中的每个可用类别，以帮助您就哪些数据类别最适合纳入整体数据混合做出最佳决策。

如何启用数据混合

将 data_mixing 部分添加到配方，并在数据集类别中设置相应的百分比分布。nova_data 百分比总和必须为 100。

包含数据混合的 Nova 2.0 配置

# Note:
# This recipe can run on p5.48xlarge

# Run config
display_name: "Nova Lite Pretrain on P5 GPU"
versions: ["2.0"]
instance_types: ["ml.p5.48xlarge"]

run:
  name: "my-cpt-run"     # A descriptive name for your training job
  model_type: "amazon.nova-2-lite-v1:0:256k" # Model variant specification, do not change
  model_name_or_path: "nova-lite-2/prod" # Base model path, do not change
  replicas: 8       # Number of compute instances for training, allowed values are 4, 8, 16, 32
  data_s3_path: ""       # Customer data paths
  validation_data_s3_path: ""        # Customer validation data paths
  output_s3_path: ""   # Output artifact path, SageMaker HyperPod job-specific configuration - not compatible with standard SageMaker Training jobs

## Training specific configs
training_config:
  task_type: cpt
  max_length: 8192              # Maximum context window size (tokens)
  global_batch_size: 64        # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_steps: 10               # The number of training steps to run total
    val_check_interval: 10      # The number of steps between running validation
    limit_val_batches: 2        # Batches of the validation set to use each trigger

  model:
    hidden_dropout: 0.0           # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0        # Dropout for attention weights, must be between 0.0 and 1.0

  optim:
    optimizer: adam
    lr: 1e-5                      # Learning rate
    name: distributed_fused_adam  # Optimizer algorithm, do not change
    adam_w_mode: true             # Enable AdamW mode
    eps: 1e-06                    # Epsilon for numerical stability
    weight_decay: 0.0             # L2 regularization strength, must be between 0.0 and 1.0
    adam_beta1: 0.9               # Beta1 for Adam optimizer
    adam_beta2: 0.95              # Beta2 for Adam optimizer
    sched:
      warmup_steps: 10            # Learning rate warmup steps
      constant_steps: 0           # Steps at constant learning rate
      min_lr: 1e-6                # Minimum learning rate, must be lower than lr

data_mixing:
  dataset_catalog: cpt_text_lite
  sources:
    nova_data:   # percent inputs for Nova data must sum to 100%; use 0% if you want to exclude a data grouping
      agents: 20
      business-and-finance: 4
      scientific: 10
      code: 5
      factual-and-news: 5
      longform-text: 6
      health-and-medicine: 1
      humanities-and-education: 1
      legal: 1
      math: 9
      additional-languages: 15
      social-and-personal-interest: 11
      entertainment: 0.5
      reasoning: 10
      other: 0.5
      tables: 1
    customer_data: # percent input of customer data. 100 = use only customer data, 0 = use only the nova_data mix above
      percent: 25

这些类别的含义

注意：Nova 2.0 包含了 Nova 1.0 中没有的、专门针对推理的类别（例如 reasoning-code、reasoning-math、reasoning-instruction-following）。

类别与信息标签摘要：

参数指南

训练中使用的词元总数可以通过 max_length * global_batch_size * max_steps 计算得出

通过从 Amazon S3 流式传输训练数据降低存储成本

运行接续预训练（CPT）作业时，默认情况下 Nova Forge 会从 FSx for Lustre 文件系统中读取 Amazon 精选的训练数据。完整的精选语料库非常大，将其驻留在 FSx 上会增加训练存储成本。

您可以选择使用替代数据布局，在训练期间从 Amazon S3 流式传输精选训练数据。您的 FSx 文件系统仍用于您自己的数据集、检查点和作业输出，但精选训练数据可直接从 S3 中按需读取。这样会将精选数据集从您的 FSx 存储空间中移除，显著降低 CPT 作业的存储成本，尤其是对于长时间运行的训练。

精选数据、混合比率和数据集构成与默认目录相同，只是数据来源位置发生变化。

要求

在配方中启用基于 S3 的训练数据

在 CPT 配方的 data_mixing 部分中，将 dataset_catalog 更改为 cpt_text_lite_s3。配方的其他设置保持不变。

run:
  name: my-cpt-run
  model_type: amazon.nova-2-lite-v1:0:256k
  model_name_or_path: nova-lite-2/prod
  replicas: 4
  data_s3_path: s3://my-bucket/my-dataset
  output_s3_path: s3://my-bucket/my-output

training_config:
  task_type: cpt
  max_length: 8192
  global_batch_size: 32
  save_steps: 1000
  trainer:
    max_steps: 5000
  optim:
    lr: 1.0e-05

data_mixing:
  dataset_catalog: cpt_text_lite_s3   # stream curated data from S3
  sources:
    customer_data:
      percent: 25

使用与所有其他 CPT 配方相同的工作流提交作业。Nova Forge 会在训练设置期间处理 S3 数据流式传输，您无需进行任何其他配置。

预计将发生的情况

限制

回退到默认目录

如果在任何时候需要恢复到默认的 FSX 驻留目录，请在您的配方中设置 dataset_catalog: cpt_text_lite。无需进行其他更改。

限制

目前的 CPT 仅支持文本数据，不支持任何客户的多模态数据集。