Fusión de modelos

Una vez finalizado el refinamiento, el modelo personalizado pasa por una etapa de fusión de modelos opcional y configurable por el usuario que combina los conocimientos recién adquiridos con las capacidades del “modelo base”. Este proceso garantiza que el modelo final conserve la inteligencia original del “modelo base” y, al mismo tiempo, incorpore el comportamiento especializado aprendido durante la última sesión de entrenamiento de refinamiento. La fusión de modelos mitiga un fenómeno conocido como olvido catastrófico, en el que un modelo pierde los conocimientos adquiridos previamente tras ser refinado con nuevos datos.

Aplicabilidad de la fusión de modelos por tipo de entrenamiento

La fusión de modelos solo se puede configurar para el entrenamiento de tipo SFT. En la tabla siguiente, se resume el comportamiento de la fusión de modelos en cada tipo de entrenamiento:

Cuándo usar la fusión de modelos

Debe habilitar la fusión de modelos en los siguientes casos:

Es posible que no necesite fusionar modelos en los siguientes casos:

Cómo configurar los pesos de la fusión de modelos

El valor predeterminado de model_importance_score.fine_tuned_model es 1.0, lo que significa que el punto de control del resultado del entrenamiento utiliza los pesos refinados en su totalidad, sin mezclarlos con los del “modelo base”. El valor predeterminado funciona bien cuando los datos de entrenamiento son integrales y representan fielmente la tarea objetivo.

Puede controlar la forma en que el modelo final equilibra la especialización y los conocimientos generales estableciendo model_importance_score en sus hiperparámetros. Por ejemplo:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

Los valores de model_importance_score.fine_tuned_model cercanos a 1.0 hacen que el modelo se decante por los datos refinados, mientras que los valores cercanos a 0.0 conservan más capacidades generales del modelo base. En el ejemplo anterior, el modelo entrenado final se produce combinando el 75 % del modelo de ajuste fino del conjunto de datos específico con el 25 % del “modelo base”.

Si observa que su modelo de ajuste fino pierde capacidades generales (por ejemplo, se reduce el rendimiento en tareas ajenas a los datos de entrenamiento), reduzca model_importance_score.fine_tuned_model para incorporar más conocimientos del “modelo base”.

Selección de los pesos de la fusión de modelos

El parámetro model_importance_score.fine_tuned_model controla el equilibrio entre el modelo de ajuste fino y el modelo base. Comience con estas directrices:

Principio general: Los pesos más altos (más cercanos a 1.0) maximizan el rendimiento de la tarea objetivo, pero corren el riesgo de perder las capacidades generales. Los pesos más bajos (más cercanos a 0.0) conservan las habilidades generales del modelo base, pero reducen la especialización. No existe un valor óptimo universal: el peso adecuado depende del tamaño del conjunto de datos, de la superposición de dominios con el modelo base y de las capacidades que se deban conservar.

Evaluación del peso de la fusión

Una vez finalizado el entrenamiento, evalúe el modelo fusionado para confirmar que el peso de fusión es el adecuado. No necesita varias sesiones de entrenamiento: una sola evaluación puede indicarle si debe realizar un ajuste.

Cómo funciona la fusión: Refinamiento de rango completo

El entrenamiento de rango completo produce un conjunto completo de pesos para los modelos. Durante la fusión, cada parámetro se calcula como una combinación ponderada:

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

Por ejemplo, con model_importance_score.fine_tuned_model = 0.3, el modelo fusionado cuenta con un 70 % de conocimiento del “modelo base” y con un 30 % de conocimiento refinado.

Cómo funciona la fusión: Refinamiento de LoRA

LoRa (adaptación de rango bajo) aprende un par compacto de matrices de rango bajo (A y B) que representan la adaptación como una actualización de rango bajo. Durante el proceso de fusión de modelos, cada matriz LoRa A y B se escala según model_importance_score.fine_tuned_model, como se muestra a continuación. En estas fórmulas, alpha es el factor de escala de LoRa (peft.lora_tuning.alpha en su fórmula de entrenamiento) y rank es el rango de LoRa. Para conocer los valores alpha disponibles, consulte la fórmula de entrenamiento de LoRa SFT.

Tenga en cuenta que, en este momento, las matrices A y B solo contienen los conocimientos de la última sesión de refinamiento. No tienen conocimientos de las sesiones de entrenamiento anteriores. Los conocimientos de estas sesiones procederán de la fusión del modelo con el “modelo base” o de la fusión del adaptador LoRa en la fase anterior que se describe a continuación.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

El entrenamiento con LoRa produce dos artefactos del modelo: un modelo completamente fusionado y un conjunto de adaptadores LoRa fusionados. Conozcamos cada uno de ellos por separado.

Modelo completamente fusionado

La actualización de LoRa se escala y se agrega al “modelo base”:

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

Ahora, el Merged Model tiene conocimientos de la sesión de entrenamiento actual y hereda algunos conocimientos del Base Model en función del model_importance_score.fine_tuned_model configurado por el usuario.

Adaptadores LoRa fusionados

La forma en que se fusionan los adaptadores LoRa depende del tipo de entrenamiento que se está realizando, es decir si es de una sola etapa o iterativo.

Estos adaptadores fusionados Merged_B y Merged_A reflejan el historial completo de entrenamiento y se utilizan para realizar inferencias bajo demanda.