Refinamiento supervisado (SFT)

En las siguientes secciones se describe el proceso de refinamiento supervisado (SFT), tanto SFT de rango completo como SFT con eficiencia de parámetros.

Refinamiento supervisado de rango completo (SFT)

El refinamiento supervisado (SFT) es el proceso mediante el cual se proporciona una colección de pares de respuesta de peticiones a un modelo fundacional para mejorar el rendimiento de un modelo fundacional previamente entrenado en una tarea específica. Los ejemplos etiquetados tienen formato de pares de petición-respuesta y están redactados como instrucciones. Este proceso de ajuste modifica las ponderaciones del modelo.

Debe usar la SFT cuando tenga datos específicos de un dominio que requieran proporcionar pares específicos de pronta petición para obtener resultados óptimos.

Tenga en cuenta que sus conjuntos de datos de entrada de entrenamiento y validación deben residir en buckets propiedad del cliente, no en buckets de depósito en garantía o buckets de S3 administrados por el servicio.

Requisitos de datos

Para SFT de rango completo y SFT de adaptador de bajo rango (LoRA), los datos deben seguir el formato operativo Converse de Amazon Bedrock. Para ver ejemplos y restricciones de este formato, consulte Preparación de datos para el refinamiento de modelos de comprensión.

Para validar el formato del conjunto de datos antes de enviarlo, le recomendamos que utilice el script de validación del repositorio de muestras de Amazon Bedrock. Esta herramienta de validación ayuda a garantizar que los archivos JSONL cumplan las especificaciones de formato requeridas y a identificar cualquier posible problema antes de enviar el trabajo de refinamiento.

Parámetros de Amazon Nova disponibles para el ajuste con SFT:

Inicio rápido con una fórmula de SFT de rango completo

A continuación se ofrece una fórmula para SFT de rango completo diseñada para que pueda iniciar rápidamente un trabajo de SFT en un clúster de HyperPod. Esta fórmula también da por sentado que se ha conectado al clúster de HyperPod con las credenciales de AWS correctas.

run:
  name: "my-sft-micro-job" # gets appended with a unique ID for HP jobs
  model_type: "amazon.nova-micro-v1:0:128k"
  model_name_or_path: "nova-micro/prod"
  replicas: 2
  data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
  validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
  output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## training specific configs
training_config:
  max_length: 32768
  save_steps: 100000
  replicas: ${recipes.run.replicas}
  micro_batch_size: 1
  task_type: sft
  global_batch_size: 64
  weights_only: True
  allow_percentage_invalid_samples: 10 

  exp_manager:
    exp_dir: null
    create_wandb_logger: False
    create_tensorboard_logger: True
      project: null
      name: null
    checkpoint_callback_params:
      monitor: step
      save_top_k: 10
      mode: max
      every_n_train_steps: ${recipes.training_config.save_steps} 
      save_last: True
    create_early_stopping_callback: True
    early_stopping_callback_params:
      min_delta: 0.001
      mode: min
      monitor: "val_loss"
      patience: 2

  trainer:
    log_every_n_steps: 1
    max_epochs: -1 
    max_steps: 16 
    val_check_interval: 100
    limit_test_batches: 0
    gradient_clip_val: 1.0
    num_nodes: ${recipes.training_config.replicas}

  model: 
    hidden_dropout: 0.0 # Dropout probability for hidden state transformer.
    attention_dropout: 0.0 # Dropout probability in the attention layer.
    ffn_dropout: 0.0 # Dropout probability in the feed-forward layer.
    sequence_parallel: True
    optim:
      lr: 1e-5
      name: distributed_fused_adam 
      bucket_cap_mb: 10
      contiguous_grad_buffer: False
      overlap_param_sync: False
      contiguous_param_buffer: False
      overlap_grad_sync: False
      adam_w_mode: true
      eps: 1e-06
      weight_decay: 0.0
      betas:
        - 0.9
        - 0.999
      sched:
        name: CosineAnnealing 
        warmup_steps: 10
        constant_steps: 0
        min_lr: 1e-6

    mm_cfg:
      llm:
        freeze: false
      image_projector:
        freeze: true
        require_newline: true 
      video_projector:
        freeze: true
        require_newline: false

    peft:
      peft_scheme: null

    training_validation:
      loader:
        args:
          data_loader_workers: 1 
          prefetch_factor: 2
      collator:
        args:
          force_image_at_turn_beginning: false

Ejemplo de fórmula de rango completo

A continuación se ofrece un ejemplo de fórmula de SFT de rango completo con todos los componentes configurados correctamente.

## Run config
run:
    name: "my-sft-run"              # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    data_s3_path: s3:Replace with your S3 bucket name/input.jsonl
    validation_data_s3_path: [OPTIONAL] s3:your S3 bucket name/input.jsonl
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: null        # Set to null for full-parameter fine-tuning

Limitaciones

No se admite la publicación de métricas en Weights & Biases ni en MLFlow.

Los puntos de comprobación intermedios no se guardan para su evaluación y no se pueden reanudar desde un punto de comprobación intermedio. Solo se guarda el último punto de comprobación.

Para ajustar los hiperparámetros, siga las instrucciones de Selección de hiperparámetros.

Refinamiento con eficiencia de parámetros (PEFT)

El refinamiento con eficiencia de parámetros (PEFT) implica el reentrenamiento de un número reducido de ponderaciones adicionales para adaptar un modelo fundacional a nuevas tareas o dominios. En concreto, el adaptador de bajo rango (LoRA) PEFT refina de forma eficiente los modelos fundacionales al introducir matrices de ponderaciones de bajo rango y entrenables en capas específicas del modelo, lo que reduce la cantidad de parámetros entrenables pero mantiene la calidad del modelo.

Un adaptador de LoRA PEFT mejora el modelo fundacional al incorporar capas adaptadoras ligeras que modifican las ponderaciones del modelo durante la inferencia, al tiempo que mantienen intactos los parámetros del modelo original. Este enfoque también se considera una de las técnicas de refinamiento más rentables. Para obtener más información, consulte Refinamiento de modelos con componentes de inferencia del adaptador.

Debe utilizar LoRA PEFT en las siguientes situaciones:

Parámetros de Amazon Nova disponibles con LoRA PEFT:

Fórmula de PEFT

A continuación se ofrece una fórmula para LoRA PEFT.

## Run config
run:
    name: "my-lora-run"             # A descriptive name for your training job
    model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification
    model_name_or_path: "nova-lite/prod"      # Base model path
    replicas: 4                     # Number of compute instances for training
    output_s3_path: [S3_PATH_TO_STORE_MANIFEST]

## Training specific configs    
training_config:
    max_length: 32768               # Maximum context window size (tokens)

    trainer:
        max_epochs: 2               # Number of training epochs
 
    model: 
        hidden_dropout: 0.0          # Dropout for hidden states
        attention_dropout: 0.0       # Dropout for attention weights
        ffn_dropout: 0.0             # Dropout for feed-forward networks
        
        optim:
            lr: 1e-5                 # Learning rate
            name: distributed_fused_adam  # Optimizer algorithm
            adam_w_mode: true        # Enable AdamW mode
            eps: 1e-06               # Epsilon for numerical stability
            weight_decay: 0.0        # L2 regularization strength
            betas:                   # Adam optimizer betas
                - 0.9
                - 0.999
            sched:
                warmup_steps: 10     # Learning rate warmup steps
                constant_steps: 0    # Steps at constant learning rate
                min_lr: 1e-6         # Minimum learning rate
        
        peft:
            peft_scheme: "lora"      # Enable LoRA for parameter-efficient fine-tuning
            lora_tuning:
                loraplus_lr_ratio: 8.0  # LoRA+ learning rate scaling factor
                alpha: 32            # Scaling factor for LoRA weights
                adapter_dropout: 0.01  # Regularization for LoRA parameters

Limitaciones

PEFT presenta las limitaciones siguientes:

Solución de problemas

Utilice la siguiente información para resolver los problemas que puedan surgir: