Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizza un modello con distillazione in Amazon Bedrock

La distillazione dei modelli è il processo di trasferimento della conoscenza da un modello più ampio e intelligente (noto come insegnante) a un modello più piccolo, più veloce ed economico (noto come studente). In questo processo, le prestazioni del modello studentesco migliorano per un caso d'uso specifico. Amazon Bedrock Model Distillation utilizza le più recenti tecniche di sintesi dei dati per generare risposte diverse e di alta qualità (note come dati sintetici) a partire dal modello degli insegnanti e perfeziona il modello degli studenti.

Per utilizzare Amazon Bedrock Model Distillation, procedi come segue:

Come funziona Amazon Bedrock Model Distillation

Amazon Bedrock Model Distillation è un unico flusso di lavoro che automatizza il processo di creazione di un modello distillato. In questo flusso di lavoro, Amazon Bedrock genera risposte a partire da un modello di insegnante, aggiunge tecniche di sintesi dei dati per migliorare la generazione di risposte e perfeziona il modello dello studente con le risposte generate. Il set di dati aumentato è suddiviso in set di dati separati da utilizzare per la formazione e la convalida. Amazon Bedrock utilizza solo i dati del set di dati di formazione per perfezionare il modello di studente.

Dopo aver identificato i modelli di insegnanti e studenti, puoi scegliere in che modo desideri che Amazon Bedrock crei un modello distillato per il tuo caso d'uso. Amazon Bedrock può generare risposte degli insegnanti utilizzando le istruzioni fornite da te oppure puoi utilizzare le risposte dai tuoi dati di produzione tramite i registri delle chiamate. Amazon Bedrock Model Distillation utilizza queste risposte per perfezionare il modello studentesco.

Creazione di un modello sintetico utilizzando le istruzioni fornite

Amazon Bedrock utilizza i prompt di input che fornisci per generare risposte dal modello di insegnante. Amazon Bedrock utilizza quindi le risposte per perfezionare il modello di studente che hai identificato. A seconda del caso d'uso, Amazon Bedrock potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore. Ad esempio, Amazon Bedrock potrebbe generare istruzioni simili per generare risposte più diversificate a partire dal modello di insegnante. Oppure, se fornisci facoltativamente una manciata di dati di input etichettati come coppie di risposte rapide, Amazon Bedrock potrebbe utilizzare queste coppie come ottimi esempi per istruire l'insegnante a generare risposte simili di alta qualità.

Creazione di un modello distillato utilizzando dati di produzione

Se disponi già di risposte generate dal modello dell'insegnante e le hai archiviate nei registri delle chiamate, puoi utilizzare quelle risposte esistenti degli insegnanti per perfezionare il modello dello studente. A tal fine, dovrai fornire ad Amazon Bedrock l'accesso ai log delle chiamate. Un registro delle chiamate in Amazon Bedrock è un registro dettagliato delle chiamate dei modelli. Per ulteriori informazioni, consulta Monitorare la chiamata del modello tramite Logs. CloudWatch

Se scegli questa opzione, puoi continuare a utilizzare le operazioni dell'API di inferenza di Amazon Bedrocks, come InvokeModell'API Converse, e raccogliere i log delle chiamate, i dati di input del modello (prompt) e i dati di output del modello (risposte) per tutte le chiamate utilizzate in Amazon Bedrock.

Quando generi risposte dal modello utilizzando le operazioni InvokeModel o Converse le API, puoi facoltativamente aggiungerle alle risposte. requestMetadata Quando create un lavoro di Distillation, potete filtrare in base a questi metadati come parte della configurazione dei log di chiamata. Puoi filtrare in base ai tuoi casi d'uso specifici, quindi Amazon Bedrock utilizza solo le risposte filtrate per perfezionare il tuo modello di studente. Se scegli di utilizzare i log delle chiamate per ottimizzare il tuo modello di studente, puoi fare in modo che Amazon Bedrock utilizzi solo le istruzioni o utilizzi coppie prompt-response.

Scelta dei prompt con i log di invocazione

Se scegli di fare in modo che Amazon Bedrock utilizzi solo le istruzioni dei log delle chiamate, Amazon Bedrock utilizza le istruzioni per generare risposte dal modello dell'insegnante. In questo caso, Amazon Bedrock utilizza le risposte per perfezionare il modello di studente che hai identificato. A seconda del caso d'uso, Amazon Bedrock Model Distillation potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore.

Scelta di coppie di risposta rapida con registri di chiamata

Se scegli di fare in modo che Amazon Bedrock utilizzi coppie di risposta rapida dai log delle chiamate, Amazon Bedrock non rigenererà le risposte dal modello dell'insegnante e utilizzerà le risposte del registro delle chiamate per perfezionare il modello studentesco. Affinché Amazon Bedrock possa leggere le risposte dai log delle chiamate, il modello di insegnante specificato nel processo di distillazione del modello deve corrispondere al modello utilizzato nel registro delle chiamate. Se non corrispondono, i log delle chiamate non vengono utilizzati. Se hai aggiunto i metadati della richiesta alle risposte nel log delle chiamate, per ottimizzare il modello studentesco, puoi specificare i filtri dei metadati della richiesta in modo che Amazon Bedrock legga solo log specifici validi per il tuo caso d'uso.