モデルマージ

ファインチューニングが完了すると、カスタマイズされたモデルは、新たに学習した知識を「ベースモデル」の機能とブレンドするオプションのユーザー設定可能なモデルマージステップを実行します。このプロセスにより、最終モデルが「ベースモデル」の元のインテリジェンスを保持し、最新のファインチューニングトレーニングの実行中に学習した特殊な動作を組み込むことができます。モデルマージは、壊滅的忘却と呼ばれる現象を軽減します。この現象は、新しいデータをファインチューニングした後、モデルが以前に学習した知識を失うことです。

トレーニングタイプ別のモデルマージの適用性

モデルマージは SFT トレーニングでのみ設定できます。次の表は、各トレーニングタイプのモデルマージ動作をまとめたものです。

モデルマージを使用するタイミング

モデルマージは、次の場合に有効にする必要があります。

次の場合、モデルマージは必要ないかもしれません。

モデルマージの重みを設定する方法

model_importance_score.fine_tuned_model のデフォルト値は 1.0 です。つまり、トレーニング出力チェックポイントではファインチューニングされた重みを完全に使用し、「ベースモデル」からのブレンドはありません。デフォルトでは、トレーニングデータが包括的で、ターゲットタスクを厳密に表す場合にうまく機能します。

model_importance_score ハイパーパラメータで を設定することで、最終的なモデルが専門分野と一般知識のバランスを取る方法を制御できます。例えば、次のようになります。

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

model_importance_score.fine_tuned_model 値が 1.0 に近い場合、モデルはファインチューニングされたデータに傾き、0.0 に近い場合、ベースモデルの一般的な機能の多くが保持されます。上記の例では、特定のデータセットで 75% のファインチューニングされたモデルと 25% の「ベースモデル」をマージすることで、最終的なトレーニング済みモデルが生成されます。

ファインチューニングされたモデルが一般的な機能 (トレーニングデータ外のタスクのパフォーマンスの低下など) を失った場合は、「ベースモデル」の知識をより多くブレンドするように model_importance_score.fine_tuned_model の値を減らします。

モデルマージの重みの選択

model_importance_score.fine_tuned_model パラメータは、ファインチューニングされたモデルとベースモデルのバランスを制御します。以下のガイドラインから始めます。

一般原則: 重みが高い (1.0 に近い) と、ターゲットタスクのパフォーマンスは最大化されますが、一般的な機能が失われるリスクがあります。重みを小さくする (0.0 に近い) と、ベースモデルの幅広いスキルは維持されますが、専門分野は弱まります。普遍的に最適な値はありません。適切な重みは、データセットのサイズ、ベースモデルとのドメインの重複、保持する必要がある機能によって異なります。

マージウェイトの評価

トレーニングが完了したら、マージされたモデルを評価して、マージの重みが適切であることを確認します。複数のトレーニング実行は必要ありません。1 回の評価パスで調整するかどうかを判断できます。

マージの仕組み: フルランクファインチューニング

フルランクトレーニングでは、モデルの重みの完全なセットが生成されます。マージ中、各パラメータは加重ブレンドとして計算されます。

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

たとえば、model_importance_score.fine_tuned_model = 0.3 では、マージされたモデルは 70% の「ベースモデル」知識と 30% のファインチューニングされた知識です。

マージの仕組み: LoRA ファインチューニング

LoRA (低ランク適応) は、適応を低ランク更新として表す低ランクマトリックスのコンパクトなペア (A と B) を学習します。モデルマージプロセス中、各 A と B の LoRA マトリックスは、次に示すように model_importance_score.fine_tuned_model によってスケーリングされます。これらの式では、 alphaは LoRA スケーリング係数 (トレーニングレシピの peft.lora_tuning.alpha) で、rank は LoRA ランクです。使用可能な alpha 値については、「LoRA SFT トレーニングレシピ」を参照してください。

この時点で、A および B マトリックスには最新のファインチューニング実行からの知識のみが含まれていることに注意してください。以前のトレーニング実行に関する知識はありません。以前のトレーニング実行の知識は、「ベースモデル」または以下で説明する以前のステージの LoRA アダプターマージによるモデルマージから得られます。

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

LoRA トレーニングでは、完全マージされたモデルとマージされた LoRA アダプターのセットの 2 つのモデルアーティファクトが生成されます。それぞれを個別に見てみましょう。

完全にマージされたモデル

LoRA 更新はスケーリングされ、「ベースモデル」に追加されます。

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

これで、 Merged Modelには、現在のトレーニング実行と、ユーザーが設定した model_importance_score.fine_tuned_model に応じて Base Model から一部の知識を継承することの両方に関する知識があります。

マージされた LoRA アダプター

LoRA アダプターのマージ方法は、単一ステージトレーニングと反復トレーニングのどちらを実行しているかによって異なります。

これらのマージされたアダプター Merged_B と Merged_A は、完全なトレーニング履歴を反映し、オンデマンド推論に使用されます。