教師ありファインチューニング (SFT)

以下のセクションでは、フルランク SFT とパラメータ効率の高い SFT の両方で、教師ありファインチューニング (SFT) のプロセスの概要を説明します。

フルランクの教師ありファインチューニング (SFT)

教師ありファインチューニング (SFT) は、プロンプトとレスポンスのペアのコレクションを基盤モデルに提供して、特定のタスクで事前トレーニング済みの基盤モデルのパフォーマンスを向上させるプロセスです。ラベル付けされた例は、プロンプトとレスポンスのペアとしてフォーマットされ、指示としてフレーズ化されます。この微調整プロセスにより、モデルの重みが変わります。

最適な結果を得るために特定のプロンプトとレスポンスのペアを提供する必要があるドメイン固有のデータがある場合は、SFT を使用する必要があります。

トレーニング入力データセットと検証入力データセットは、エスクローやサービスマネージド S3 バケットではなく、顧客所有のバケットに配置する必要があります。

データ要件

フルランク SFT および Low-Rank Adapter (LoRA) SFT の場合、データは Amazon Bedrock Converse オペレーション形式に従う必要があります。この形式の例と制約については、「理解モデルのファインチューニングのためのデータの準備」を参照してください。

送信前にデータセット形式を検証するには、Amazon Bedrock サンプルリポジトリから検証スクリプトを使用することをお勧めします。この検証ツールは、ファインチューニングジョブを送信する前に、JSONL ファイルが必須の形式仕様に準拠していることを確認し、潜在的な問題を特定するのに役立ちます。

SFT を使用した調整で使用できる Amazon Nova パラメータは次のとおりです。

フルランク SFT レシピを使用したクイックスタート

以下は、HyperPod クラスターで SFT ジョブをすばやく開始するためのフルランク SFT のレシピです。このレシピでは、正しい AWS 認証情報を使用して HyperPod クラスターに接続していることも前提としています。

run:
  name: "my-sft-micro-job" # gets appended with a unique ID for HP jobs
  model_type: "amazon.nova-micro-v1:0:128k"
  model_name_or_path: "nova-micro/prod"
  replicas: 2
  data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
  validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## training specific configs
training_config:
  max_length: 32768
  save_steps: 100000
  replicas: ${recipes.run.replicas}
  micro_batch_size: 1
  task_type: sft
  global_batch_size: 64
  weights_only: True
  allow_percentage_invalid_samples: 10 

  exp_manager:
    exp_dir: null
    create_wandb_logger: False
    create_tensorboard_logger: True
      project: null
      name: null
    checkpoint_callback_params:
      monitor: step
      save_top_k: 10
      mode: max
      every_n_train_steps: ${recipes.training_config.save_steps} 
      save_last: True
    create_early_stopping_callback: True
    early_stopping_callback_params:
      min_delta: 0.001
      mode: min
      monitor: "val_loss"
      patience: 2

  trainer:
    log_every_n_steps: 1
    max_epochs: -1 
    max_steps: 16 
    val_check_interval: 100
    limit_test_batches: 0
    gradient_clip_val: 1.0
    num_nodes: ${recipes.training_config.replicas}

  model: 
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    sequence_parallel: True
    optim:
      lr: 1e-5
      name: distributed_fused_adam 
      bucket_cap_mb: 10
      contiguous_grad_buffer: False
      overlap_param_sync: False
      contiguous_param_buffer: False
      overlap_grad_sync: False
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999
      sched:
        name: CosineAnnealing 
        warmup_steps: 10
        constant_steps: 0
        min_lr: 1e-6

    mm_cfg:
      llm:
        freeze: false
      image_projector:
        freeze: true
        require_newline: true 
      video_projector:
        freeze: true
        require_newline: false

    peft:
      peft_scheme: null

    training_validation:
      loader:
        args:
          data_loader_workers: 1 
          prefetch_factor: 2
      collator:
        args:
          force_image_at_turn_beginning: false

フルランクレシピの例

以下は、すべてのコンポーネントが適切に設定された SFT のフルランクレシピの例です。

## Run config
run:
    name: "my-sft-run"              # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
    validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: null        # Set to null for full-parameter fine-tuning

制限

Weights & Biases および MLFlow へのメトリクスの公開はサポートされていません。

中間チェックポイントは評価のために保存されず、中間チェックポイントから再開することはできません。最後のチェックポイントのみが保存されます。

ハイパーパラメータを調整するには、「ハイパーパラメータの選択」のガイダンスに従います。

Parameter-efficient fine-tuning (PEFT)

Parameter-efficient fine-tuning (PEFT) では、基盤モデルを新しいタスクやドメインに適応させるために、少数の追加の重みを再トレーニングします。特に、Low-Rank Adapter (LoRA) PEFT は、低ランクのトレーニング可能な重みマトリックスを特定のモデルレイヤーに導入することで、基盤モデルを効率的にファインチューニングし、モデルの品質を維持しながらトレーニング可能なパラメータの数を減らします。

LoRA PEFT アダプターは、推論中にモデルの重みを変更する軽量アダプターレイヤーを組み込み、元のモデルパラメータをそのまま維持することで、ベース基盤モデルを強化します。このアプローチは、最も費用対効果の高いファインチューニング手法の 1 つでもあります。詳細については、「アダプター推論コンポーネントを使用してモデルをファインチューニングする」を参照してください。

以下のシナリオでは LoRA PEFT を使用する必要があります。

LoRA PEFT で使用できる Amazon Nova パラメータは次のとおりです。

PEFT のレシピ

LoRA PEFT のレシピは以下のとおりです。

## Run config
run:
    name: "my-lora-run"             # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
            lora_tuning:
                loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor
                alpha: 32            # Scaling factor for LoRA weights
                adapter_dropout: 0.01  # Regularization for LoRA parameters

制限

PEFT には次の制限事項があります。

トラブルシューティング

次の情報は、発生する可能性がある問題の解決に役立ちます。