継続的事前トレーニング (CPT)

継続的事前トレーニング (CPT) は、同じ教師なし目標 (マスク言語モデリングや因果言語モデリングなど) を使用して、新しいデータに対して事前トレーニング済み基盤モデルをさらにトレーニングするプロセスです。新しい分野や分散シフトに適応しながら、以前に学習した一般的な言語機能を保持します。

CPT には、アーキテクチャの変更や特定のダウンストリームタスクのためのファインチューニングは含まれません。代わりに、分野対応の方法でモデルの言語理解能力を拡張します。

以下のシナリオでは CPT を使用する必要があります。

データ形式の要件

CPT を実行するときは、次のデータセットの特性に従うことをお勧めします。

トレーニングデータセットと検証データセットは、Converse 形式に従った JSONL ファイルである必要があります。各行には、必須フィールドと構造がある会話を表す JSON オブジェクトが含まれます。以下がその例です。

{"text": "AWS stands for Amazon Web Services"}
{"text": "Amazon SageMaker is a fully managed machine learning service"}
{"text": "Amazon Bedrock is a fully managed service for foundation models"}

テキストエントリには、ターゲットドメインを表す、自然に流れる高品質のコンテンツを含める必要があります。

データセットの検証

CPT ジョブを送信する前にデータセットを検証するには、次の条件を確認します。

トレーニング時間

トレーニングに費やされる時間は、データセットのサイズ、使用するインスタンスの数、トレーニングされるモデルによって大きく異なります。トレーニング時間は直線的にスケールすることが予想されます。次の表は、さまざまなモデルのトレーニング時間の例を示したものです。

トレーニングデータセットと検証データセットは、Amazon Bedrock Converse オペレーション形式に従った JSONL ファイルである必要があります。各行には、必須フィールドと構造がある会話を表す JSON オブジェクトが含まれます。

CPT で調整できる Amazon Nova パラメータは次のとおりです。

CPT レシピ

CPT のレシピは以下のとおりです。

## Run config
run:
  name: "my-cpt-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: [S3_PATH_TO_TRAIN_DATASET]
  validation_data_s3_path: (OPTIONAL)[S3_PATH_TO_VALIDATION_DATASET]
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs
training_config:
  max_length: 8192               # Maximum context window size (tokens).
  global_batch_size: 256           # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate, must be lower than lr

制限

CPT には次の制約事項があります。