Pre-addestramento continuo (CPT)

Il pre-addestramento continuo (CPT) è una tecnica che estende le funzionalità di un modello linguistico pre-addestrato tramite l’addestramento su nuovi dati specifici del dominio, preservandone al contempo la comprensione generale del linguaggio. A differenza del fine-tuning, il CPT utilizza gli stessi obiettivi non supervisionati del pre-addestramento originale (come la modellazione mascherata o causale del linguaggio) e non modifica l’architettura del modello.

Il CPT è particolarmente utile quando disponi di grandi quantità di dati non etichettati specifici di un dominio (come testi medici o finanziari) e desideri migliorare le prestazioni del modello in aree specializzate senza perderne le funzionalità generali. Questo approccio migliora le prestazioni zero-shot e few-shot in domini mirati senza richiedere un ampio fine-tuning specifico per le attività.

Per istruzioni dettagliate sull’uso del CPT con la personalizzazione del modello Amazon Nova, consulta la sezione Continued Pre-Training (CPT) della Guida per l’utente di SageMaker.