Personalizza un modello con distillazione in Amazon Bedrock - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizza un modello con distillazione in Amazon Bedrock

La distillazione dei modelli è il processo di trasferimento della conoscenza da un modello più ampio e intelligente (noto come insegnante) a un modello più piccolo, più veloce ed economico (noto come studente). In questo processo, le prestazioni del modello studentesco migliorano per un caso d'uso specifico. Amazon Bedrock Model Distillation utilizza le più recenti tecniche di sintesi dei dati per generare risposte diverse e di alta qualità (note come dati sintetici) a partire dal modello degli insegnanti e perfeziona il modello degli studenti.

Per utilizzare Amazon Bedrock Model Distillation, procedi come segue:

  1. Scegli un modello di insegnante e un modello di studente. Per ulteriori informazioni, consulta Scegli modelli per insegnanti e studenti per la distillazione.

  2. Prepara i dati di allenamento per la distillazione. I dati di allenamento sono una raccolta di istruzioni archiviate in file. .jsonl Amazon Bedrock utilizza i dati di input per generare risposte dal modello dell'insegnante e utilizza le risposte per perfezionare il modello dello studente.

  3. Crea un processo di distillazione. Questo processo crea un modello più piccolo, più veloce e più conveniente per il tuo caso d'uso. Solo tu puoi accedere al modello distillato finale. Amazon Bedrock non utilizza i tuoi dati per addestrare nessun altro modello di insegnante o studente per uso pubblico. Per ulteriori informazioni, consulta Invia un lavoro di distillazione di modelli in Amazon Bedrock. Una volta completato il processo di distillazione, puoi analizzare i risultati del processo di personalizzazione. Per ulteriori informazioni, consulta Analizza i risultati di un processo di personalizzazione del modello. Per informazioni sulla configurazione dell'inferenza per il modello, vedere. Imposta l'inferenza per un modello personalizzato

Come funziona Amazon Bedrock Model Distillation

Amazon Bedrock Model Distillation è un unico flusso di lavoro che automatizza il processo di creazione di un modello distillato. In questo flusso di lavoro, Amazon Bedrock genera risposte a partire da un modello di insegnante, aggiunge tecniche di sintesi dei dati per migliorare la generazione di risposte e perfeziona il modello dello studente con le risposte generate. Il set di dati aumentato è suddiviso in set di dati separati da utilizzare per la formazione e la convalida. Amazon Bedrock utilizza solo i dati del set di dati di formazione per perfezionare il modello di studente.

Dopo aver identificato i modelli di insegnanti e studenti, puoi scegliere in che modo desideri che Amazon Bedrock crei un modello distillato per il tuo caso d'uso. Amazon Bedrock può generare risposte degli insegnanti utilizzando le istruzioni fornite da te oppure puoi utilizzare le risposte dai tuoi dati di produzione tramite i registri delle chiamate. Amazon Bedrock Model Distillation utilizza queste risposte per perfezionare il modello studentesco.

Nota

Se Amazon Bedrock Model Distillation utilizza le sue tecniche proprietarie di sintesi dei dati per generare risposte degli insegnanti di qualità superiore, Account AWS dovrai sostenere costi aggiuntivi per le chiamate di inferenza al modello di insegnante. Questi costi verranno fatturati in base alle tariffe di inferenza su richiesta del modello di insegnante. Le tecniche di sintesi dei dati possono aumentare le dimensioni del set di dati di ottimizzazione fine fino a un massimo di 15.000 coppie di pronta risposta. Per ulteriori informazioni sui costi di Amazon Bedrock, consulta la pagina dei prezzi di Amazon Bedrock.

Creazione di un modello sintetico utilizzando le istruzioni fornite

Amazon Bedrock utilizza i prompt di input che fornisci per generare risposte dal modello di insegnante. Amazon Bedrock utilizza quindi le risposte per perfezionare il modello di studente che hai identificato. A seconda del caso d'uso, Amazon Bedrock potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore. Ad esempio, Amazon Bedrock potrebbe generare istruzioni simili per generare risposte più diversificate a partire dal modello di insegnante. Oppure, se fornisci facoltativamente una manciata di dati di input etichettati come coppie di risposte rapide, Amazon Bedrock potrebbe utilizzare queste coppie come ottimi esempi per istruire l'insegnante a generare risposte simili di alta qualità.

Creazione di un modello distillato utilizzando dati di produzione

Se disponi già di risposte generate dal modello dell'insegnante e le hai archiviate nei registri delle chiamate, puoi utilizzare quelle risposte esistenti degli insegnanti per perfezionare il modello dello studente. A tal fine, dovrai fornire ad Amazon Bedrock l'accesso ai log delle chiamate. Un registro delle chiamate in Amazon Bedrock è un registro dettagliato delle chiamate dei modelli. Per ulteriori informazioni, consulta Monitorare la chiamata del modello tramite Logs. CloudWatch

Se scegli questa opzione, puoi continuare a utilizzare le operazioni dell'API di inferenza di Amazon Bedrocks, come InvokeModell'API Converse, e raccogliere i log delle chiamate, i dati di input del modello (prompt) e i dati di output del modello (risposte) per tutte le chiamate utilizzate in Amazon Bedrock.

Quando generi risposte dal modello utilizzando le operazioni InvokeModel o Converse le API, puoi facoltativamente aggiungerle alle risposte. requestMetadata Quando create un lavoro di Distillation, potete filtrare in base a questi metadati come parte della configurazione dei log di chiamata. Puoi filtrare in base ai tuoi casi d'uso specifici, quindi Amazon Bedrock utilizza solo le risposte filtrate per perfezionare il tuo modello di studente. Se scegli di utilizzare i log delle chiamate per ottimizzare il tuo modello di studente, puoi fare in modo che Amazon Bedrock utilizzi solo le istruzioni o utilizzi coppie prompt-response.

Scelta dei prompt con i log di invocazione

Se scegli di fare in modo che Amazon Bedrock utilizzi solo le istruzioni dei log delle chiamate, Amazon Bedrock utilizza le istruzioni per generare risposte dal modello dell'insegnante. In questo caso, Amazon Bedrock utilizza le risposte per perfezionare il modello di studente che hai identificato. A seconda del caso d'uso, Amazon Bedrock Model Distillation potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore.

Scelta di coppie di risposta rapida con registri di chiamata

Se scegli di fare in modo che Amazon Bedrock utilizzi coppie di risposta rapida dai log delle chiamate, Amazon Bedrock non rigenererà le risposte dal modello dell'insegnante e utilizzerà le risposte del registro delle chiamate per perfezionare il modello studentesco. Affinché Amazon Bedrock possa leggere le risposte dai log delle chiamate, il modello di insegnante specificato nel processo di distillazione del modello deve corrispondere al modello utilizzato nel registro delle chiamate. Se non corrispondono, i log delle chiamate non vengono utilizzati. Se hai aggiunto i metadati della richiesta alle risposte nel log delle chiamate, per ottimizzare il modello studentesco, puoi specificare i filtri dei metadati della richiesta in modo che Amazon Bedrock legga solo log specifici validi per il tuo caso d'uso.