Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizzare un modello con distillazione in Amazon Bedrock

Per distillazione di modelli si intende il processo di trasferimento delle informazioni da un modello più grande e intelligente (noto come insegnante) a un modello più piccolo, veloce e conveniente (noto come studente). In questo processo, le prestazioni del modello studente migliorano per un caso d’uso specifico. Amazon Bedrock Model Distillation automatizza il processo di distillazione utilizzando le tecniche di sintesi dei dati più recenti per generare risposte diverse e di alta qualità a partire dal modello insegnante ed esegue il fine-tuning del modello studente.

Per utilizzare Amazon Bedrock Model Distillation, procedi come segue:

Come funziona Amazon Bedrock Model Distillation

Amazon Bedrock Model Distillation è un unico flusso di lavoro che automatizza il processo di creazione di un modello distillato. In questo flusso di lavoro, Amazon Bedrock genera risposte da un modello insegnante, aggiungendo tecniche di sintesi dei dati per migliorare la generazione delle risposte ed eseguendo il fine-tuning del modello studente con le risposte generate. Il set di dati aumentato è suddiviso in set di dati separati da utilizzare per l’addestramento e la convalida. Amazon Bedrock utilizza solo i dati del set di dati di addestramento per eseguire il fine-tuning del modello studente.

Dopo aver identificato i modelli studente e insegnante, puoi scegliere in che modo desideri che Amazon Bedrock crei un modello distillato per il caso d’uso specifico. Amazon Bedrock può generare le risposte del modello insegnante utilizzando i prompt forniti oppure è possibile utilizzare i propri dati di produzione tramite i log delle invocazioni. Amazon Bedrock Model Distillation utilizza queste risposte per eseguire il fine-tuning del modello studente.

Creazione di un modello distillato utilizzando i prompt forniti dall’utente

Amazon Bedrock utilizza i prompt di input forniti dall’utente per generare risposte dal modello insegnante. Amazon Bedrock utilizza quindi le risposte per eseguire il fine-tuning del modello studente identificato. In base al caso d’uso, Amazon Bedrock potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore. Ad esempio, Amazon Bedrock potrebbe generare prompt simili per generare risposte più diversificate a partire dal modello insegnante. In alternativa, se facoltativamente si forniscono alcuni dati di input etichettati come coppie prompt-risposta, Amazon Bedrock potrebbe utilizzare tali coppie come ottimi esempi per istruire il modello insegnante a generare risposte simili di alta qualità.

Creazione di un modello distillato utilizzando dati di produzione

Se si dispone già di risposte generate dal modello insegnante e le hai archiviate nei log delle invocazioni, è possibile utilizzare le risposte esistenti del modello insegnante per eseguire il fine-tuning del modello studente. A tal fine, è necessario fornire ad Amazon Bedrock l’accesso ai log delle invocazioni. In Amazon Bedrock, un log delle invocazioni è un registro dettagliato delle invocazioni del modello. Per ulteriori informazioni, consulta Monitorare la chiamata del modello tramite Logs. CloudWatch

Se scegli questa opzione, puoi continuare a utilizzare le operazioni dell'API di inferenza di Amazon Bedrocks, come InvokeModell'API Converse, e raccogliere i log delle chiamate, i dati di input del modello (prompt) e i dati di output del modello (risposte) per tutte le chiamate utilizzate in Amazon Bedrock.

Quando si generano risposte del modello utilizzando le operazioni dell’API InvokeModel o Converse, è possibile (facoltativamente) aggiungere requestMetadata alle risposte. Quando si crea un processo di distillazione, è possibile applicare un filtro in base a questi metadati nell’ambito della configurazione dei log delle invocazioni. Si possono applicare filtri in ai casi d’uso specifici, quindi Amazon Bedrock utilizza solo le risposte filtrate per eseguire il fine-tuning del modello studente. Se si sceglie di utilizzare i log delle invocazioni per eseguire il fine-tuning del modello studente, Amazon Bedrock può utilizzare solo i prompt o coppie di prompt-risposta.

Scelta dei prompt con i log delle invocazioni

Se si decide che Amazon Bedrock utilizzi solo i prompt dei log delle invocazioni, Amazon Bedrock utilizza i prompt per generare risposte dal modello insegnante. In questo caso, Amazon Bedrock utilizza quindi le risposte per eseguire il fine-tuning del modello studente identificato. In base al caso d’uso, Amazon Bedrock Model Distillation potrebbe aggiungere tecniche proprietarie di sintesi dei dati per generare risposte diverse e di qualità superiore.

Scelta delle coppie di prompt-risposta con i log delle invocazioni

Se si decide che Amazon Bedrock utilizzi coppie di prompt-risposta dai logo delle invocazioni, Amazon Bedrock non rigenera le risposte dal modello insegnante e utilizza le risposte del log delle invocazioni per eseguire il fine-tuning del modello studente. Affinché Amazon Bedrock possa leggere le risposte dai log delle invocazioni, il modello insegnante specificato nel processo di distillazione di modelli deve corrispondere a quello utilizzato nel log delle invocazioni. Se i modelli non corrispondono, i log delle invocazioni non vengono utilizzati. Se alle risposte nel log delle invocazioni sono stati aggiunti metadati della richiesta, per eseguire il fine-tuning del modello studente è possibile applicare i filtri dei metadati della richiesta in modo che Amazon Bedrock legga solo log specifici validi per il caso d’uso specifico.