지속적 사전 학습(CPT)

지속적인 사전 훈련(CPT)은 동일한 비지도 목표(마스킹된 언어 모델링 또는 인과적 언어 모델링 등)를 사용하여 새로운 데이터에 대해 사전 훈련된 파운데이션 모델을 추가로 훈련하는 프로세스입니다. 이는 새로운 도메인 또는 분포 변화에 적응하면서도 이전에 학습한 일반 언어 기능을 유지합니다.

CPT에는 특정 다운스트림 태스크에 대한 아키텍처 변경 또는 미세 조정이 포함되지 않습니다. 대신 도메인 인식 방식으로 모델의 언어 이해 능력을 확장합니다.

다음 시나리오에서는 CPT를 사용해야 합니다.

데이터 형식 요구 사항

CPT를 수행할 때 다음 데이터세트 특성을 준수하는 것이 좋습니다.

훈련 및 검증 데이터세트는 Converse 형식을 따르는 JSONL 파일이어야 하며, 각 줄에는 필수 필드 및 구조를 갖춘 대화를 나타내는 JSON 객체가 포함되어야 합니다. 예:

{"text": "AWS stands for Amazon Web Services"}
{"text": "Amazon SageMaker is a fully managed machine learning service"}
{"text": "Amazon Bedrock is a fully managed service for foundation models"}

텍스트 항목에는 대상 도메인을 잘 나타내는, 자연스럽게 흐르는 고품질의 콘텐츠가 포함되어야 합니다.

데이터세트 검증

CPT 작업을 제출하기 전에 데이터세트를 검증하려면 다음 조건을 확인하세요.

훈련 시간

훈련에 소요되는 시간은 데이터세트의 크기, 사용되는 인스턴스 수, 훈련 중인 모델에 따라 크게 달라집니다. 훈련 시간은 선형적으로 조정될 것으로 예상됩니다. 다음 표에는 다양한 모델에 대한 몇 가지 예시 훈련 시간이 나와 있습니다.

훈련 및 검증 데이터세트는 Amazon Bedrock Converse 작업 형식을 따르는 JSONL 파일이어야 하며, 각 줄에는 필수 필드 및 구조를 갖춘 대화를 나타내는 JSON 객체가 포함되어야 합니다.

CPT를 통해 조정할 수 있는 Amazon Nova 파라미터는 다음과 같습니다.

CPT 레시피

다음은 CPT의 레시피입니다.

## Run config
run:
  name: "my-cpt-run"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                     # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: [S3_PATH_TO_TRAIN_DATASET]
  validation_data_s3_path: (OPTIONAL)[S3_PATH_TO_VALIDATION_DATASET]
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs
training_config:
  max_length: 8192               # Maximum context window size (tokens).
  global_batch_size: 256           # Global batch size, allowed values are 32, 64, 128, 256.

  trainer:
    max_epochs: 2                # Number of training epochs

  model:
    hidden_dropout: 0.0          # Dropout for hidden states, must be between 0.0 and 1.0
    attention_dropout: 0.0       # Dropout for attention weights, must be between 0.0 and 1.0
    ffn_dropout: 0.0             # Dropout for feed-forward networks, must be between 0.0 and 1.0

    optim:
      lr: 1e-5                 # Learning rate
      name: distributed_fused_adam  # Optimizer algorithm, do not change
      adam_w_mode: true        # Enable AdamW mode
      eps: 1e-06               # Epsilon for numerical stability
      weight_decay: 0.0        # L2 regularization strength, must be between 0.0 and 1.0
      betas:                   # Adam optimizer betas, must be between 0.0 and 1.0
        - 0.9
        - 0.999
      sched:
        warmup_steps: 10     # Learning rate warmup steps
        constant_steps: 0    # Steps at constant learning rate
        min_lr: 1e-6         # Minimum learning rate, must be lower than lr

제한 사항

CPT에는 다음과 같은 제한 사항이 있습니다.