Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Modell Merge

Nach Abschluss der Feinabstimmung durchläuft Ihr benutzerdefiniertes Modell einen optionalen, vom Benutzer konfigurierbaren Schritt zur Modellzusammenführung, bei dem das neu erlernte Wissen mit den Funktionen des „Basismodells“ kombiniert wird. Dieser Prozess stellt sicher, dass Ihr endgültiges Modell die ursprüngliche Intelligenz des „Basismodells“ beibehält und gleichzeitig das spezielle Verhalten berücksichtigt, das Sie während des letzten Feinabstimmungstrainings gelernt haben. Durch die Modellzusammenführung wird ein Phänomen, das als katastrophales Vergessen bezeichnet wird, abgemildert, bei dem ein Modell zuvor erlerntes Wissen verliert, nachdem es anhand neuer Daten verfeinert wurde.

Anwendbarkeit der Modellzusammenführung nach Schulungstyp

Das Zusammenführen von Modellen ist nur für SFT-Schulungen konfigurierbar. In der folgenden Tabelle wird das Verhalten beim Zusammenführen von Modellen für jeden Trainingstyp zusammengefasst:

Wann sollte das Zusammenführen von Modellen verwendet werden

Sie sollten die Modellzusammenführung in folgenden Fällen aktivieren:

In folgenden Fällen ist eine Modellzusammenführung möglicherweise nicht erforderlich:

Wie konfiguriert man Gewichte für die Zusammenführung von Modellen

Der Standardwert model_importance_score.fine_tuned_model ist 1,0, was bedeutet, dass der Trainings-Output-Checkpoint ausschließlich die fein abgestimmten Gewichte verwendet, ohne dass es zu einer Mischung aus dem „Basismodell“ kommt. Die Standardeinstellung funktioniert gut, wenn Ihre Trainingsdaten umfassend sind und Ihrer Zielaufgabe sehr nahe kommen.

Sie können steuern, wie das endgültige Modell ein Gleichgewicht zwischen Spezialisierung und Allgemeinwissen herstellt, indem Sie dies model_importance_score in Ihren Hyperparametern festlegen. Beispiel:

    training_config:
    # ...
      model_importance_score:
        fine_tuned_model: 0.75 # set value between 0.0 to 1.0 inclusive
        

model_importance_score.fine_tuned_modelBei Werten, die näher an 1,0 liegen, orientiert sich das Modell eher an Ihren fein abgestimmten Daten, während bei Werten, die näher an 0,0 liegen, die allgemeinen Funktionen des Basismodells in größerem Umfang erhalten bleiben. Im obigen Beispiel wird das endgültige trainierte Modell erstellt, indem das zu 75% fein abgestimmte Modell des spezifischen Datensatzes mit 25% des „Basismodells“ zusammengeführt wird.

Wenn Sie feststellen, dass Ihr fein abgestimmtes Modell an allgemeinen Fähigkeiten verliert (z. B. verminderte Leistung bei Aufgaben außerhalb Ihrer Trainingsdaten), reduzieren Sie es, model_importance_score.fine_tuned_model um mehr Wissen aus dem „Basismodell“ einfließen zu lassen.

Modell wählen, Gewichte zusammenführen

Der model_importance_score.fine_tuned_model Parameter steuert das Gleichgewicht zwischen Ihrem fein abgestimmten Modell und dem Basismodell. Beginnen Sie mit diesen Richtlinien:

Allgemeines Prinzip: Höhere Gewichte (näher an 1,0) maximieren die Leistung der Zielaufgabe, bergen jedoch die Gefahr, dass allgemeine Fähigkeiten verloren gehen. Niedrigere Gewichtungen (näher an 0,0) behalten die allgemeinen Fähigkeiten des Basismodells bei, verringern jedoch die Spezialisierung. Es gibt keinen allgemein optimalen Wert — die richtige Gewichtung hängt von der Größe Ihres Datensatzes, der Domänenüberschneidung mit dem Basismodell und den Funktionen ab, die Sie beibehalten müssen.

Dein Gewicht beim Zusammenführen auswerten

Evaluieren Sie nach Abschluss des Trainings das zusammengeführte Modell, um sicherzustellen, dass das zusammengeführte Gewicht angemessen ist. Du brauchst nicht mehrere Trainingsläufe — ein einziger Testdurchgang kann dir sagen, ob du dich anpassen musst.

So funktioniert das Zusammenführen: Feinabstimmung Full-rank

Full-rank Beim Training wird ein vollständiger Satz von Modellgewichten erstellt. Beim Zusammenführen wird jeder Parameter als gewichtete Mischung berechnet:

# Weighted interpolation
Merged Model = (1 - model_importance_score.fine_tuned_model) * Base Model + model_importance_score.fine_tuned_model * Fine-Tuned Model
        

Beispielsweise besteht das zusammengeführte Modell zu 70% aus Basismodellwissen und zu 30% aus detailliertem Wissen. model_importance_score.fine_tuned_model = 0.3

So funktioniert die Zusammenführung: LoRa-Feinabstimmung

LoRa (Low-Rank Adaptation) lernt ein kompaktes Paar von Matrizen mit niedrigem Rang (A und B), die die Anpassung als Low-Rank-Update darstellen. Während der Modellzusammenführung wird jede A- und B-LoRa-Matrix wie folgt skaliert. model_importance_score.fine_tuned_model In diesen Formeln alpha steht der LoRa-Skalierungsfaktor (peft.lora_tuning.alphain Ihrem Trainingsrezept) und der rank LoRa-Rang. Die verfügbaren alpha Werte finden Sie im LoRa SFT-Trainingsrezept.

Beachten Sie, dass die A- und B-Matrizen derzeit nur Erkenntnisse aus dem letzten Feinabstimmungslauf enthalten. Es liegen keine Kenntnisse über frühere Trainingsläufe vor. Das Wissen aus früheren Trainingsläufen stammt aus der Verschmelzung des Modells mit dem „Basismodell“ oder der unten beschriebenen Zusammenführung von LoRa-Adaptern in der vorherigen Phase.

Scaled_A = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * A
Scaled_B = sqrt(model_importance_score.fine_tuned_model) * sqrt(alpha/rank) * B
        

Beim LoRa-Training werden zwei Modellartefakte erzeugt: ein vollständig zusammengeführtes Modell und ein Satz zusammengeführter LoRa-Adapter. Schauen wir uns jeden von ihnen einzeln an.

Vollständig zusammengeführtes Modell

Das LoRa-Update wird skaliert und dem „Basismodell“ hinzugefügt:

Merged Model = Base Model + (Scaled_B @ Scaled_A)
        

Nun Merged Model hat er sowohl Wissen aus dem aktuellen Trainingslauf als auch etwas Wissen aus der Base Model je nach Anwender konfigurierten. model_importance_score.fine_tuned_model

Zusammengeführte LoRa-Adapter

Wie die LoRa-Adapter zusammengeführt werden, hängt davon ab, ob Sie ein einstufiges oder iteratives Training durchführen.

Diese zusammengeführten Adapter Merged_B Merged_A geben die gesamte Trainingshistorie wieder und werden für On-Demand-Inferenzen verwendet.