持續預先訓練 (CPT)

持續預先訓練 (CPT) 一種過程，過程中使用相同的非監督式目標 (例如遮罩語言建模或因果語言建模)，進一步對新資料訓練預先訓練基礎模型。它會保留先前學習的一般語言功能，同時適應新的網域或分佈轉移。

CPT 不涉及特定下游任務的架構變更或微調。反之，它會以網域感知的方式擴展模型的語言理解容量。

您應該在下列案例中使用 CPT：

資料格式要求

我們建議在執行 CPT 時遵循下列資料集特性：

訓練和驗證資料集必須是遵循 Converse 格式的 JSONL 檔案，其中每一行都包含代表與必要欄位和結構對話的 JSON 物件。請見此處範例：

{"text": "AWS stands for Amazon Web Services"}
{"text": "Amazon SageMaker is a fully managed machine learning service"}
{"text": "Amazon Bedrock is a fully managed service for foundation models"}

文字項目應包含代表您目標網域的自然流動、高品質內容。

資料集驗證

若要在提交 CPT 任務之前驗證資料集，請檢查下列條件：

訓練時間

訓練所花費的時間很大程度上取決於資料集的大小、使用的執行個體數量，以及正在訓練的模型。訓練時間預期會呈線性增加。下表提供各種模型的一些範例訓練時間。

訓練和驗證資料集必須是遵循 Amazon Bedrock Converse 操作格式的 JSONL 檔案，其中每一行都包含代表與必要欄位和結構對話的 JSON 物件。

可使用 CPT 進行調校的 Amazon Nova 參數包括：

CPT 配方

以下是 CPT 的配方。

## Run config
run:
  name: "my-cpt-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: [S3_PATH_TO_TRAIN_DATASET]
  validation_data_s3_path: (OPTIONAL)[S3_PATH_TO_VALIDATION_DATASET]
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs
training_config:
  max_length: 8192               # Maximum context window size (tokens).
  global_batch_size: 256           # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate, must be lower than lr

限制

CPT 具有下列限制：