Fortgesetztes Vortraining (CPT)

Fortgesetztes Vortraining (CPT) ist ein Verfahren, das die Fähigkeiten eines vortrainierten Sprachmodells erweitert, indem es mit neuen domainspezifischen Daten trainiert wird, während sein allgemeines Sprachverständnis erhalten bleibt. Im Gegensatz zur Feinabstimmung verwendet CPT dieselben unbeaufsichtigten Ziele wie das ursprüngliche Vortraining (z. B. maskierte oder kausale Sprachmodellierung) und verändert die Architektur des Modells nicht.

CPT ist besonders nützlich, wenn Sie über große Mengen an nicht gekennzeichneten domainspezifischen Daten (wie medizinische oder finanzielle Texte) verfügen und die Leistung des Modells in speziellen Bereichen verbessern möchten, ohne seine allgemeinen Funktionen zu verlieren. Dieser Ansatz verbessert die Zero-Shot- und Few-Shot-Leistung in bestimmten Domains, ohne dass eine umfangreiche aufgabenspezifische Feinabstimmung erforderlich ist.

Ausführliche Anweisungen zur Verwendung von CPT mit der Amazon-Nova-Modellanpassung finden Sie im Abschnitt Fortgesetztes Vortraining (CPT) des SageMaker-Benutzerhandbuchs.