Mesclagem de modelos

Após a conclusão do ajuste fino, o modelo personalizado passa por uma etapa de mesclagem de modelos opcional e configurável pelo usuário que combina o conhecimento recém-adquirido com as funcionalidades do “modelo de base”. Esse processo garante que o modelo final retenha a inteligência original do “modelo de base”, ao mesmo tempo em que incorpora o comportamento especializado aprendido durante a execução de um treinamento de ajuste fino mais recente. A mesclagem de modelos mitiga um fenômeno conhecido como esquecimento catastrófico, em que um modelo perde o conhecimento aprendido anteriormente após passar por um ajuste fino com novos dados.

Aplicabilidade da mesclagem de modelos por tipo de treinamento

A mesclagem de modelos é configurável somente para o treinamento SFT. A tabela abaixo resume o comportamento de mesclagem de modelos para cada tipo de treinamento:

Quando usar a mesclagem de modelos

Você deve habilitar a mesclagem de modelos quando:

Você pode não precisar da mesclagem de modelos quando:

Como configurar os pesos de mesclagem do modelo

O valor padrão de model_importance_score.fine_tuned_model é 1,0, o que significa que o ponto de verificação de saída do treinamento usa totalmente os pesos do modelo ajustado, sem nenhuma mistura com o “modelo de base”. Esse padrão funciona bem quando os dados de treinamento são abrangentes e representam de forma fiel a tarefa-alvo.

Você pode controlar como o modelo final equilibra a especialização em relação ao conhecimento geral definindo o model_importance_score nos hiperparâmetros. Por exemplo:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

Valores de model_importance_score.fine_tuned_model mais próximos de 1,0 fazem com que o modelo priorize os dados do seu ajuste fino, enquanto valores mais próximos de 0,0 preservam mais as funcionalidades gerais do modelo de base. No exemplo acima, o modelo final treinado é obtido pela combinação de 75% do modelo ajustado no conjunto de dados específico com 25% do “modelo de base”.

Se você perceber que o modelo ajustado perde funcionalidades gerais (por exemplo, pior performance em tarefas externas aos dados de treinamento), reduza model_importance_score.fine_tuned_model para incorporar uma maior proporção do conhecimento do “modelo de base”.

Escolha dos pesos de mesclagem do modelo

O parâmetro model_importance_score.fine_tuned_model controla o equilíbrio entre o modelo ajustado e o modelo de base. Comece com as seguintes diretrizes:

Princípio geral: pesos mais altos (próximos de 1,0) maximizam a performance na tarefa-alvo, mas aumentam o risco de perda de funcionalidades gerais. Por sua vez, pesos mais baixos (próximos de 0,0) preservam as habilidades amplas do modelo de base, porém reduzem a especialização. Não existe um valor universalmente ideal. O peso adequado depende do tamanho do conjunto de dados, da sobreposição do domínio com o modelo de base e das funcionalidades que você precisa preservar.

Avaliação do peso de mesclagem

Após a conclusão do treinamento, avalie o modelo mesclado para confirmar se o peso de mesclagem está adequado. Não são necessárias diversas execuções de treinamento. Uma única rodada de avaliação pode indicar se é preciso ajustar o parâmetro.

Como a mesclagem funciona: ajuste fino de classificação completa

O treinamento de classificação completa produz um conjunto completo de pesos do modelo. Durante a mesclagem, cada parâmetro é calculado como uma combinação ponderada:

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

Por exemplo, com model_importance_score.fine_tuned_model = 0.3, o modelo resultante da mesclagem é composto por 70% de conhecimento do “modelo de base” e 30% de conhecimento do modelo com ajuste fino.

Como a mesclagem funciona: ajuste fino de LoRA

A LoRA (adaptação de baixa classificação) aprende um par compacto de matrizes de baixa classificação (A e B) que representam a adaptação como uma atualização de baixa classificação. Durante o processo de mesclagem do modelo, cada matriz de LoRA A e B é escalada pelo valor de model_importance_score.fine_tuned_model, como mostrado abaixo. Nestas fórmulas, alpha é o fator de escala de LoRA (peft.lora_tuning.alpha na sua receita de treinamento) e rank é a classificação de LoRA. Para obter os valores disponíveis de alpha, consulte a receita de treinamento SFT de LoRA.

Observe que, neste ponto, as matrizes A e B contêm apenas o conhecimento proveniente da execução mais recente de ajuste fino. Elas não têm nenhum conhecimento de execuções de treinamento anteriores. O conhecimento das execuções anteriores será incorporado por meio da mesclagem do modelo com o “modelo de base” ou com a mesclagem do adaptador de LoRA da etapa anterior, conforme descrito abaixo.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

O treinamento com LoRA produz dois artefatos de modelo: um modelo totalmente mesclado e um conjunto de adaptadores de LoRA mesclados. Vamos analisar cada um deles separadamente.

Modelo totalmente mesclado

A atualização de LoRA é escalada e adicionada ao “modelo de base”:

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

Agora, o Merged Model contém conhecimento tanto da execução de treinamento atual quanto parte do conhecimento herdado do Base Model, dependendo do valor configurado pelo usuário em model_importance_score.fine_tuned_model.

Adaptadores de LoRA mesclados

A forma como os adaptadores de LoRA são mesclados depende de você estar realizando um treinamento em etapa única ou um treinamento iterativo.

Esses adaptadores mesclados Merged_B e Merged_A refletem todo o histórico de treinamento e são usados para inferência sob demanda.