Pré-entraînement continu (CPT)

Le pré-entraînement continu (CPT) est une technique qui étend les capacités d’un modèle linguistique pré-entraîné en l’entraînant sur de nouvelles données spécifiques à un domaine tout en préservant sa compréhension générale du langage. Contrairement au peaufinage, le CPT utilise les mêmes objectifs non supervisés que le pré-entraînement d’origine (tels que la modélisation linguistique masquée ou causale) et ne modifie pas l’architecture du modèle.

Le CPT est particulièrement utile lorsque vous disposez de grandes quantités de données spécifiques à un domaine non étiquetées (telles que des textes médicaux ou financiers) et que vous voulez améliorer les performances du modèle dans des domaines spécialisés sans perdre ses capacités générales. Cette approche améliore les performances en zero-shot et few-shot dans des domaines ciblés sans nécessiter de peaufinage spécifique à la tâche.

Pour obtenir des instructions détaillées sur l’utilisation du CPT avec la personnalisation du modèle Amazon Nova, consultez la section Pré-entraînement continu (CPT) du guide d’utilisation SageMaker.