本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

監督式微調 (SFT)

下列各節概述監督式微調 (SFT) 的程序，包括全階 SFT 和參數效率 SFT。

全階監督微調 (SFT)

監督式微調 (SFT) 是將提示回應對集合提供給基礎模型的程序，以改善特定任務上預先訓練基礎模型的效能。標記的範例格式為提示-回應對，並片語為指示。此微調程序會改變模型的權重。

當您擁有需要提供特定提示回應對以獲得最佳結果的網域特定資料時，您應該使用 SFT。

請注意，您的訓練和驗證輸入資料集必須位於客戶擁有的儲存貯體中，而非託管或服務管理的 S3 儲存貯體中。

資料需求

對於全階 SFT 和低階轉接器 (LoRA) SFT，資料應遵循 Amazon Bedrock Converse 操作格式。如需此格式的範例和限制條件，請參閱準備資料以進行微調了解模型。

若要在提交之前驗證您的資料集格式，我們建議您使用 Amazon Bedrock 範例儲存庫中的驗證指令碼。此驗證工具有助於確保您的 JSONL 檔案遵循必要的格式規格，並在提交微調任務之前識別任何潛在問題。

可使用 SFT 進行調校的 Amazon Nova 參數如下所示：

完整排名 SFT 配方的快速入門

以下是完整排名 SFT 的配方，旨在讓您快速在 HyperPod 叢集上啟動 SFT 任務。此配方也假設您已使用正確的 AWS 登入資料連線至 HyperPod 叢集。

run:
  name: "my-sft-micro-job" # gets appended with a unique ID for HP jobs
  model_type: "amazon.nova-micro-v1:0:128k"
  model_name_or_path: "nova-micro/prod"
  replicas: 2
  data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
  validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## training specific configs
training_config:
  max_length: 32768
  save_steps: 100000
  replicas: ${recipes.run.replicas}
  micro_batch_size: 1
  task_type: sft
  global_batch_size: 64
  weights_only: True
  allow_percentage_invalid_samples: 10 

  exp_manager:
    exp_dir: null
    create_wandb_logger: False
    create_tensorboard_logger: True
      project: null
      name: null
    checkpoint_callback_params:
      monitor: step
      save_top_k: 10
      mode: max
      every_n_train_steps: ${recipes.training_config.save_steps} 
      save_last: True
    create_early_stopping_callback: True
    early_stopping_callback_params:
      min_delta: 0.001
      mode: min
      monitor: "val_loss"
      patience: 2

  trainer:
    log_every_n_steps: 1
    max_epochs: -1 
    max_steps: 16 
    val_check_interval: 100
    limit_test_batches: 0
    gradient_clip_val: 1.0
    num_nodes: ${recipes.training_config.replicas}

  model: 
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    sequence_parallel: True
    optim:
      lr: 1e-5
      name: distributed_fused_adam 
      bucket_cap_mb: 10
      contiguous_grad_buffer: False
      overlap_param_sync: False
      contiguous_param_buffer: False
      overlap_grad_sync: False
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999
      sched:
        name: CosineAnnealing 
        warmup_steps: 10
        constant_steps: 0
        min_lr: 1e-6

    mm_cfg:
      llm:
        freeze: false
      image_projector:
        freeze: true
        require_newline: true 
      video_projector:
        freeze: true
        require_newline: false

    peft:
      peft_scheme: null

    training_validation:
      loader:
        args:
          data_loader_workers: 1 
          prefetch_factor: 2
      collator:
        args:
          force_image_at_turn_beginning: false

全排名配方範例

以下是已正確設定所有元件的 SFT 完整排名配方範例。

## Run config
run:
    name: "my-sft-run"              # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
    validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: null        # Set to null for full-parameter fine-tuning

限制

不支援將指標發佈至 Weights & Biases 和 MLFlow。

中繼檢查點不會儲存以供評估，而且您無法從中繼檢查點繼續。只會儲存最後一個檢查點。

若要調整超參數，請遵循選取超參數中的指示。

參數效率微調 (PEFT)

參數效率微調 (PEFT) 需要重新訓練少量的額外權重，以根據新任務或網域調整基礎模型。具體而言，低階轉接器 (LoRA) PEFT 透過將低階可訓練權重矩陣引入特定模型層來有效率地微調基礎模型，從而減少可訓練參數的數量，同時維持模型品質。

LoRA PEFT 轉接器透過整合輕量型轉接器層，在推論期間修改模型的權重，同時保持原始模型參數不變，來增強基礎模型。此方法也被視為最具成本效益的微調技術之一。如需詳細資訊，請參閱使用轉接器推論元件微調模型。

在下列案例中，您應該使用 LoRA PEFT：

適用於搭配 LoRA PEFT 的 Amazon Nova 參數包括：

PEFT 配方

以下是 LoRA PEFT 的配方。

## Run config
run:
    name: "my-lora-run"             # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
            lora_tuning:
                loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor
                alpha: 32            # Scaling factor for LoRA weights
                adapter_dropout: 0.01  # Regularization for LoRA parameters

限制

PEFT 有下列限制：

故障診斷

使用以下資訊來協助解決您可能遇到的問題：