Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Inviare un processo di distillazione di modelli in Amazon Bedrock
Puoi eseguire la distillazione del modello tramite la console Amazon Bedrock o inviando una CreateModelCustomizationJobrichiesta con un endpoint del piano di controllo Amazon Bedrock.
Prerequisiti
Una volta completato il processo di distillazione, è possibile analizzare i risultati del processo di personalizzazione. Per ulteriori informazioni, consulta Analizzare i risultati di un processo di personalizzazione dei modelli. Per informazioni sull’impostazione dell’inferenza per il modello, consultare Impostazione dell’inferenza per un modello personalizzato.
Inviare il processo
- Console
-
-
Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.
-
Nel riquadro di navigazione a sinistra, scegli Modelli personalizzati in Ottimizza.
Scegli Crea un processo di distillazione.
-
Per Dettagli del modello distillato, procedi come indicato di seguito:
-
Per Nome del modello distillato, inserisci un nome per il modello distillato.
-
(Facoltativo) Per Crittografia del modello, seleziona la casella di controllo se vuoi fornire una chiave KMS per crittografare il processo e gli artefatti correlati.
Per ulteriori informazioni, consulta Crittografia di modelli personalizzati.
-
(Facoltativo) Applica tag al modello distillato.
-
In Configurazione del processo, procedi come segue:
-
Per Nome del processo, inserisci un nome per il processo.
-
(Facoltativo) Per Crittografia del modello, seleziona la casella di controllo se vuoi fornire una chiave KMS per crittografare il processo e gli artefatti correlati.
Per ulteriori informazioni, consulta Crittografia di modelli personalizzati.
-
(Facoltativo) Applica tag al processo.
-
Per Dettagli Modello insegnante - Modello studente, scegli i modelli insegnante e studente per creare il modello distillato.
Per ulteriori informazioni, consulta Scelta di modelli studente e insegnante per la distillazione.
-
Per Generazione di dati sintetici, procedi come segue:
-
Per Lunghezza massima della risposta, specifica la lunghezza massima delle risposte sintetiche generate dal modello insegnante.
-
Per Set di dati di input per la distillazione, scegli una delle seguenti opzioni:
-
Carica direttamente nella posizione S3: specifica la posizione S3 in cui stai archiviando il set di dati di input (prompt) che verrà utilizzato per la distillazione. Per ulteriori informazioni, consulta Opzione 1: fornisci i tuoi prompt per la preparazione dei dati.
-
Fornisci l’accesso ai log di invocazione: specifica la posizione S3 in cui stai archiviando i log di invocazione con il set di dati di input (prompt) che verrà utilizzato per la distillazione. Per ulteriori informazioni, consulta Opzione 2: utilizzare i log delle invocazioni per la preparazione dei dati.
-
(Facoltativo) Per Richiedi filtri per metadati, specifica i filtri se vuoi che Amazon Bedrock utilizzi solo determinati prompt nei log per la distillazione.
-
Scegli Leggi i prompt o Leggi le coppie di prompt-risposta a seconda dei dati dei log che vuoi rendere accessibili ad Amazon Bedrock. Tieni presente che le risposte vengono lette solo se il modello insegnante corrisponde al modello nei tuoi log.
-
Per Output della distillazione, specifica la posizione S3 in cui vuoi caricare le metriche e i report relativi al processo di distillazione.
Per ulteriori informazioni, consulta Analizzare i risultati di un processo di personalizzazione dei modelli.
-
Per Impostazioni VPC, scegli una configurazione del cloud privato virtuale per accedere al bucket S3 con i dati di addestramento.
Per ulteriori informazioni, consulta (Facoltativo) Protezione dei processi di personalizzazione del modello utilizzando un VPC.
-
Per Accesso al servizio, specifica il ruolo IAM per accedere al bucket S3 con i dati di addestramento. A meno che non utilizzi un profilo di inferenza interregionale o configurazioni VPC, puoi creare il ruolo nella console Amazon Bedrock con le autorizzazioni corrette configurate automaticamente. In alternativa, puoi utilizzare un ruolo di servizio esistente.
Per un processo con configurazioni VPC di Amazon o che utilizza un profilo di inferenza interregionale, devi creare un nuovo ruolo di servizio in IAM con le autorizzazioni richieste.
Per ulteriori informazioni, consulta Creare un ruolo di servizio IAM per la personalizzazione del modello.
-
Scegli Crea un processo di distillazione per avviare il processo di distillazione. Dopo aver personalizzato un modello, puoi impostare l’inferenza per il modello. Per ulteriori informazioni, consulta Impostazione dell’inferenza per un modello personalizzato.
- API
-
Devi almeno fornire i seguenti campi per inviare il processo di distillazione di modelli quando utilizzi l’API Amazon Bedrock.
| Campo |
Description |
| baseModelIdentifier |
Identificatore del modello studente |
| customModelName |
Nome del nuovo modello distillato |
| jobName |
Nome del processo di distillazione di modelli |
| roleArn |
Ruolo che concede ad Amazon Bedrock le autorizzazioni per leggere file di addestramento e convalida e scrivere nel percorso di output |
| trainingDataConfig |
Percorso Amazon S3 contenente i dati di addestramento |
| outputDataConfig |
Percorso Amazon S3 contenente le metriche di addestramento e convalida |
| distillationConfig |
Input necessari per il processo di distillazione |
| customModelKmsKeyId |
Per crittografare il modello personalizzato |
| clientRequestToken |
Token per evitare che la richiesta venga completata più di una volta |
I seguenti campi sono facoltativi:
| Campo |
Description |
| customizationType |
Impostato su DISTILLATION per impostazione predefinita per i processi di distillazione |
| validationDataConfig |
Elenco dei percorsi Amazon S3 dei dati di convalida |
| jobTags |
Per associare tag al processo |
| customModelTags |
Per associare i tag al modello personalizzato risultante |
| vpcConfig |
VPC per proteggere i dati di addestramento e il processo di distillazione |
Per evitare che la richiesta venga completata più di una volta, includi un clientRequestToken.
Puoi includere i seguenti campi facoltativi per ulteriori configurazioni.
Di seguito è riportato un frammento di esempio tratto dall'API. CreateModelCustomizationJob L’esempio utilizza le coppie di prompt-risposta presenti nel log delle invocazioni come origine dati di input e specifica il filtro per la selezione delle coppie di prompt-risposta.
"trainingDataConfig": {
"invocationLogsConfig": {
"usePromptResponse": true,
"invocationLogSource": {
"s3Uri": "string"
},
"requestMetadataFilters": {
"equals": {
"priority": "High"
}
}
}
}
Risposta
La risposta restituisce un jobArn del processo di distillazione di modelli.
Fasi successive
