持续预训练 (CPT)

持续预训练（CPT）是使用相同的无监督目标（例如掩蔽语言建模或因果语言建模）基于新数据进一步训练预训练基础模型的过程。它保留了以前学习的通用语言能力，同时适应了新的领域或分布式转移。

CPT 不涉及架构变更或针对特定下游任务的微调。相反，它以领域感知的方式扩展了模型的语言理解能力。

您应当在以下场景中使用 CPT：

数据格式要求

我们建议在执行 CPT 时遵守以下数据集特征：

训练数据集和验证数据集必须是遵循 Converse 格式的 JSONL 文件，其中每一行都包含一个代表对话的 JSON 对象，具有必填字段和结构。示例如下：

{"text": "AWS stands for Amazon Web Services"}
{"text": "Amazon SageMaker is a fully managed machine learning service"}
{"text": "Amazon Bedrock is a fully managed service for foundation models"}

文本条目应包含代表您目标领域的自然流畅的高质量内容。

数据集验证

要在提交 CPT 作业之前验证您的数据集，请检查以下条件：

训练时间

训练所花费的时间在很大程度上取决于数据集的大小、使用的实例数量以及所训练的模型。预计训练时间将呈线性增长。下表提供了各种模型的一些训练时间示例。

训练数据集和验证数据集必须是遵循 Amazon Bedrock Converse 操作格式的 JSONL 文件，其中每一行都包含一个代表对话的 JSON 对象，具有必填字段和结构。

可用于 CPT 调整的 Amazon Nova 参数包括：

CPT 配方

以下是 CPT 的配方。

## Run config
run:
  name: "my-cpt-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: [S3_PATH_TO_TRAIN_DATASET]
  validation_data_s3_path: (OPTIONAL)[S3_PATH_TO_VALIDATION_DATASET]
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs
training_config:
  max_length: 8192               # Maximum context window size (tokens).
  global_batch_size: 256           # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate, must be lower than lr

限制

CPT 具有以下限制：