Ottimizzazione di precisione supervisionata (Full FT, PEFT) - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione di precisione supervisionata (Full FT, PEFT)

La messa a punto è il processo di adattamento di un modello linguistico preformato a compiti o domini specifici addestrandolo su set di dati mirati. A differenza della formazione preliminare, che consente una comprensione generale del linguaggio, la messa a punto ottimizza il modello per applicazioni particolari.

Ecco una panoramica delle principali tecniche di ottimizzazione:

Ottimizzazione fine supervisionata (SFT)

Ottimizzazione di precisione supervisionata (SFT)

SFT adatta un modello pre-addestrato utilizzando esempi etichettati di input e output desiderati. Il modello impara a generare risposte che corrispondono agli esempi forniti, insegnandogli efficacemente a seguire istruzioni specifiche o a produrre risultati in uno stile particolare. La SFT prevede in genere l'aggiornamento di tutti i parametri del modello in base a dati specifici dell'attività.

Per istruzioni dettagliate sull'uso di SFT con la personalizzazione del modello Amazon Nova, consulta la sezione Supervised fine-tuning (SFT) della guida per l'utente di Amazon Nova.

Ottimizzazione efficiente dei parametri (PEFT)

Ottimizzazione di precisione efficiente in termini di parametri (PEFT)

Le tecniche PEFT come Low-Rank Adaptation (LoRa) modificano solo un piccolo sottoinsieme di parametri del modello durante la messa a punto, riducendo significativamente i requisiti di calcolo e di memoria. LoRa funziona aggiungendo piccole matrici «adattatrici» addestrabili ai pesi dei modelli esistenti, permettendo un adattamento efficace e mantenendo la maggior parte del modello originale congelata. Questo approccio consente la messa a punto di modelli di grandi dimensioni su hardware limitato.

Per istruzioni dettagliate sull'uso di PEFT con la personalizzazione del modello Amazon Nova, consulta la sezione Parameter-efficient fine-tuning (PEFT) della guida per l'utente di Amazon Nova.