지도 미세 조정(SFT)

다음 섹션에서는 전체 순위 SFT와 파라미터 효율적 SFT라는 두 가지 지도 미세 조정(SFT) 프로세스를 간략하게 설명합니다.

전체 순위 지도 미세 조정(SFT)

지도 미세 조정(SFT)은 프롬프트-응답 쌍으로 구성된 데이터세트를 파운데이션 모델에 제공하여 사전 학습된 파운데이션 모델의 특정 태스크 성능을 향상시키는 과정입니다. 레이블이 지정된 예제는 프롬프트 응답 쌍으로 형식이 지정되고 지시사항으로 구문이 지정됩니다. 이 미세 조정 프로세스는 모델의 가중치를 수정합니다.

특정 도메인 데이터가 있고 최적의 결과를 위해 특정 프롬프트-응답 쌍을 제공해야 하는 경우, SFT를 사용해야 합니다.

훈련 및 검증 입력 데이터세트는 에스크로 또는 서비스 관리형 S3 버킷이 아닌 고객 소유 버킷에 있어야 합니다.

데이터 요구 사항

전체 순위 SFT 및 저순위 어댑터(LoRA) SFT의 경우 데이터는 Amazon Bedrock Converse 작업 형식을 따라야 합니다. 이 형식의 예시 및 제약 조건은 이해 모델 미세 조정을 위한 데이터 준비를 참조하세요.

제출 전에 데이터세트 형식을 검증하려면 Amazon Bedrock 샘플 리포지토리의 검증 스크립트를 사용하는 것이 좋습니다. 이 검증 도구는 JSONL 파일이 필요한 형식 사양을 준수하는지 확인하고, 미세 조정 작업을 제출하기 전에 잠재적 문제를 식별하는 데 도움이 됩니다.

SFT를 통해 조정할 수 있는 Amazon Nova 파라미터는 다음과 같습니다.

전체 순위 SFT 레시피를 사용한 빠른 시작

다음은 HyperPod 클러스터에서 SFT 작업을 빠르게 시작하기 위한 전체 순위 SFT 레시피입니다. 이 레시피는 올바른 AWS 자격 증명을 사용하여 HyperPod 클러스터에 연결되어 있다고 가정합니다.

run:
  name: "my-sft-micro-job" # gets appended with a unique ID for HP jobs
  model_type: "amazon.nova-micro-v1:0:128k"
  model_name_or_path: "nova-micro/prod"
  replicas: 2
  data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
  validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## training specific configs
training_config:
  max_length: 32768
  save_steps: 100000
  replicas: ${recipes.run.replicas}
  micro_batch_size: 1
  task_type: sft
  global_batch_size: 64
  weights_only: True
  allow_percentage_invalid_samples: 10 

  exp_manager:
    exp_dir: null
    create_wandb_logger: False
    create_tensorboard_logger: True
      project: null
      name: null
    checkpoint_callback_params:
      monitor: step
      save_top_k: 10
      mode: max
      every_n_train_steps: ${recipes.training_config.save_steps} 
      save_last: True
    create_early_stopping_callback: True
    early_stopping_callback_params:
      min_delta: 0.001
      mode: min
      monitor: "val_loss"
      patience: 2

  trainer:
    log_every_n_steps: 1
    max_epochs: -1 
    max_steps: 16 
    val_check_interval: 100
    limit_test_batches: 0
    gradient_clip_val: 1.0
    num_nodes: ${recipes.training_config.replicas}

  model: 
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    sequence_parallel: True
    optim:
      lr: 1e-5
      name: distributed_fused_adam 
      bucket_cap_mb: 10
      contiguous_grad_buffer: False
      overlap_param_sync: False
      contiguous_param_buffer: False
      overlap_grad_sync: False
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999
      sched:
        name: CosineAnnealing 
        warmup_steps: 10
        constant_steps: 0
        min_lr: 1e-6

    mm_cfg:
      llm:
        freeze: false
      image_projector:
        freeze: true
        require_newline: true 
      video_projector:
        freeze: true
        require_newline: false

    peft:
      peft_scheme: null

    training_validation:
      loader:
        args:
          data_loader_workers: 1 
          prefetch_factor: 2
      collator:
        args:
          force_image_at_turn_beginning: false

샘플 전체 순위 레시피

다음은 모든 구성 요소가 올바르게 구성된 SFT에 대한 샘플 전체 순위 레시피입니다.

## Run config
run:
    name: "my-sft-run"              # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
    validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: null        # Set to null for full-parameter fine-tuning

제한 사항

Weights & Biases와 MLFlow에 지표를 게시하는 것은 지원되지 않습니다.

중간 체크포인트는 평가를 위해 저장되지 않으며 중간 체크포인트에서 재개할 수 없습니다. 마지막 체크포인트만 저장됩니다.

하이퍼파라미터를 조정하려면 하이퍼파라미터 선택의 지침을 따릅니다.

파라미터 효율적 미세 조정(PEFT)

파라미터 효율적 미세 조정(PEFT)에는 파운데이션 모델을 새 태스크 또는 도메인에 맞게 조정하기 위해 몇 가지 추가 가중치를 재훈련하는 작업이 포함됩니다. 특히 저순위 어댑터(LoRA) PEFT는 특정 모델 계층에 저순위 학습 가능 가중치 행렬을 도입하여 모델 품질을 유지하면서 훈련 가능한 파라미터 수를 줄여 파운데이션 모델을 효율적으로 미세 조정할 수 있습니다.

LoRA PEFT 어댑터는 경량 어댑터 계층을 추가하여 추론 중 모델의 가중치를 수정하면서도 원래 모델 파라미터는 그대로 유지합니다. 이 접근 방식은 가장 비용 효율적인 미세 조정 기법 중 하나로도 간주됩니다. 자세한 내용은 어댑터 추론 구성 요소를 사용한 모델 미세 조정을 참조하세요.

다음 시나리오에서는 LoRA PEFT를 사용해야 합니다.

LoRA PEFT에서 사용할 수 있는 Amazon Nova 파라미터는 다음과 같습니다.

PEFT 레시피

다음은 LoRA PEFT의 레시피입니다.

## Run config
run:
    name: "my-lora-run"             # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
            lora_tuning:
                loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor
                alpha: 32            # Scaling factor for LoRA weights
                adapter_dropout: 0.01  # Regularization for LoRA parameters

제한 사항

PEFT에는 다음과 같은 제한 사항이 있습니다.

문제 해결

다음 정보를 사용하여 발생할 수 있는 문제를 해결할 수 있습니다.