Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon Nova — Fortsetzung der Vorschulung (CPT)
Continued Pre-Training (CPT) ist eine Technik, bei der die Fähigkeiten eines vorab trainierten Sprachmodells erweitert werden, indem es anhand neuer domänenspezifischer Daten trainiert wird, während gleichzeitig sein allgemeines Sprachverständnis erhalten bleibt. Im Gegensatz zur Feinabstimmung verwendet CPT dieselben unbeaufsichtigten Ziele wie das ursprüngliche Vortraining (z. B. maskierte oder kausale Sprachmodellierung) und verändert die Architektur des Modells nicht.
CPT ist besonders nützlich, wenn Sie über große Mengen an nicht gekennzeichneten domänenspezifischen Daten (wie medizinische oder finanzielle Texte) verfügen und die Leistung des Modells in speziellen Bereichen verbessern möchten, ohne seine allgemeinen Funktionen zu verlieren. Dieser Ansatz verbessert die Zero-Shot- und Few-Shot-Performance in Zieldomänen, ohne dass umfangreiche, aufgabenspezifische Feinabstimmungen erforderlich sind.
Detaillierte Anweisungen zur Verwendung von CPT mit der Amazon Nova-Modellanpassung finden Sie im Abschnitt Continued Pre-Training (CPT) im Amazon Nova-Benutzerhandbuch.
