Peaufinage supervisé (SFT)

Les sections suivantes décrivent le processus de peaufinage supervisé (SFT), pour un SFT complet et pour un SFT efficace des paramètres.

Peaufinage supervisé (SFT) complet

Le peaufinage supervisé (SFT) est le processus qui fournit une collection de paires invite-réponse à un modèle de fondation afin d’améliorer les performances d’un modèle de fondation pré-entraîné sur une tâche spécifique. Les exemples étiquetés sont présentés sous forme de paires invite-réponse et formulés comme des instructions. Ce processus d'optimisation modifie les poids du modèle.

Vous devez utiliser la SFT lorsque vous disposez de données spécifiques à un domaine, qui nécessitent la fourniture de paires invite-réponse spécifiques pour des résultats optimaux.

Notez que vos jeux de données d’entrée d’entraînement et de validation doivent résider dans des compartiments appartenant au client, et non dans des compartiments S3 sous séquestres ou gérés par des services.

Exigences relatives aux données

Pour la SFT complète et la SFT avec adaptateur de rang inférieur (LoRA), les données doivent suivre le format d’opération Converse Amazon Bedrock. Pour découvrir des exemples et les contraintes liés à ce format, consultez Préparation des données pour optimiser les modèles de compréhension.

Pour valider le format de votre jeu de données avant de le soumettre, nous vous recommandons d’utiliser le script de validation issu du référentiel d’exemples Amazon Bedrock. Cet outil de validation vous aidera à garantir que vos fichiers JSONL respectent les spécifications de format requises, et à identifier tout problème potentiel avant de soumettre votre tâche de peaufinage.

Les paramètres Amazon Nova disponibles pour l’ajustement de la SFT sont les suivants :

Démarrage rapide avec une formule de SFT complète

Voici une formule de SFT complète qui vous permet de démarrer rapidement une tâche de SFT sur un cluster HyperPod. Cette formule suppose également que vous vous êtes connecté à votre cluster HyperPod à l’aide des bonnes informations d’identification AWS.

run:
  name: "my-sft-micro-job" # gets appended with a unique ID for HP jobs
  model_type: "amazon.nova-micro-v1:0:128k"
  model_name_or_path: "nova-micro/prod"
  replicas: 2
  data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
  validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## training specific configs
training_config:
  max_length: 32768
  save_steps: 100000
  replicas: ${recipes.run.replicas}
  micro_batch_size: 1
  task_type: sft
  global_batch_size: 64
  weights_only: True
  allow_percentage_invalid_samples: 10 

  exp_manager:
    exp_dir: null
    create_wandb_logger: False
    create_tensorboard_logger: True
      project: null
      name: null
    checkpoint_callback_params:
      monitor: step
      save_top_k: 10
      mode: max
      every_n_train_steps: ${recipes.training_config.save_steps} 
      save_last: True
    create_early_stopping_callback: True
    early_stopping_callback_params:
      min_delta: 0.001
      mode: min
      monitor: "val_loss"
      patience: 2

  trainer:
    log_every_n_steps: 1
    max_epochs: -1 
    max_steps: 16 
    val_check_interval: 100
    limit_test_batches: 0
    gradient_clip_val: 1.0
    num_nodes: ${recipes.training_config.replicas}

  model: 
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    sequence_parallel: True
    optim:
      lr: 1e-5
      name: distributed_fused_adam 
      bucket_cap_mb: 10
      contiguous_grad_buffer: False
      overlap_param_sync: False
      contiguous_param_buffer: False
      overlap_grad_sync: False
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999
      sched:
        name: CosineAnnealing 
        warmup_steps: 10
        constant_steps: 0
        min_lr: 1e-6

    mm_cfg:
      llm:
        freeze: false
      image_projector:
        freeze: true
        require_newline: true 
      video_projector:
        freeze: true
        require_newline: false

    peft:
      peft_scheme: null

    training_validation:
      loader:
        args:
          data_loader_workers: 1 
          prefetch_factor: 2
      collator:
        args:
          force_image_at_turn_beginning: false

Exemple de formule complète

Voici un exemple de formule complète pour une SFT avec tous les composants correctement configurés.

## Run config
run:
    name: "my-sft-run"              # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
    validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: null        # Set to null for full-parameter fine-tuning

Limites

La publication de métriques dans Weights & Biases et MLFlow n’est pas prise en charge.

Les points de contrôle intermédiaires ne sont pas enregistrés pour évaluation et vous ne pouvez pas les reprendre à partir d’un point de contrôle intermédiaire. Seul le dernier point de contrôle est enregistré.

Pour ajuster les hyperparamètres, suivez les instructions dans Selecting hyperparameters.

Peaufinage efficace des paramètres (PEFT)

Le peaufinage efficace des paramètres (PEFT) consiste à réentraîner un petit nombre de poids supplémentaires pour adapter un modèle de fondation à de nouvelles tâches ou à de nouveaux domaines. Plus précisément, la PEFT avec adaptateur de rang inférieur (LoRA) optimise efficacement les modèles de fondation en introduisant des matrices de poids entraînables de rang inférieur dans des couches de modèles spécifiques, réduisant ainsi le nombre de paramètres pouvant être entraînés tout en préservant la qualité du modèle.

Un adaptateur PEFT avec LoRA complète le modèle de fondation en incorporant des couches d’adaptation légères qui modifient les poids du modèle lors de l’inférence tout en préservant les paramètres du modèle d’origine intacts. Cette approche est également considérée comme l’une des techniques de peaufinage les plus rentables. Pour plus d’informations, consultez Peaufinage des modèles avec les composants d’inférence des adaptateurs.

Vous devez utiliser la PEFT avec LoRA dans les scénarios suivants :

Les paramètres Amazon Nova disponibles pour la PEFT avec LoRA sont les suivants :

Formule de PEFT

Ce qui suit est une formule de PEFT avec LoRA.

## Run config
run:
    name: "my-lora-run"             # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
            lora_tuning:
                loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor
                alpha: 32            # Scaling factor for LoRA weights
                adapter_dropout: 0.01  # Regularization for LoRA parameters

Limites

La PEFT comporte les limitations suivantes :

Résolution des problèmes

Utilisez les informations suivantes pour vous aider à résoudre les problèmes que vous pouvez rencontrer :