Inviare un processo di distillazione di modelli in Amazon Bedrock - Amazon Bedrock
PrerequisitiInviare il processoFasi successive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inviare un processo di distillazione di modelli in Amazon Bedrock

Puoi eseguire la distillazione del modello tramite la console Amazon Bedrock o inviando una CreateModelCustomizationJobrichiesta con un endpoint del piano di controllo Amazon Bedrock.

Prerequisiti

Per ulteriori informazioni sulla configurazione dell'inferenza su richiesta, vedere. Impostazione dell’inferenza per un modello personalizzato

Inviare il processo

Console

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Nel riquadro di navigazione a sinistra, scegli Modelli personalizzati in Ottimizza.

  3. Scegli Crea un processo di distillazione.

  4. Per Dettagli del modello distillato, procedi come indicato di seguito:

    1. Per Nome del modello distillato, inserisci un nome per il modello distillato.

    2. (Facoltativo) Per Crittografia del modello, seleziona la casella di controllo se vuoi fornire una chiave KMS per crittografare il processo e gli artefatti correlati.

      Per ulteriori informazioni, consulta Crittografia di modelli personalizzati.

    3. (Facoltativo) Applica tag al modello distillato.

  5. In Configurazione del processo, procedi come segue:

    1. Per Nome del processo, inserisci un nome per il processo.

    2. (Facoltativo) Per Crittografia del modello, seleziona la casella di controllo se vuoi fornire una chiave KMS per crittografare il processo e gli artefatti correlati.

      Per ulteriori informazioni, consulta Crittografia di modelli personalizzati.

    3. (Facoltativo) Applica tag al processo.

  6. Per Dettagli Modello insegnante - Modello studente, scegli i modelli insegnante e studente per creare il modello distillato.

    Per ulteriori informazioni, consulta Prerequisiti per la distillazione modello.

  7. Per Generazione di dati sintetici, procedi come segue:

    1. Per Lunghezza massima della risposta, specifica la lunghezza massima delle risposte sintetiche generate dal modello insegnante.

    2. Per Set di dati di input per la distillazione, scegli una delle seguenti opzioni:

      • Carica direttamente nella posizione S3: specifica la posizione S3 in cui stai archiviando il set di dati di input (prompt) che verrà utilizzato per la distillazione. Per ulteriori informazioni, consulta Opzione 1: fornisci i tuoi prompt per la preparazione dei dati.

      • Fornisci l’accesso ai log di invocazione: specifica la posizione S3 in cui stai archiviando i log di invocazione con il set di dati di input (prompt) che verrà utilizzato per la distillazione. Per ulteriori informazioni, consulta Opzione 2: utilizzare i log delle invocazioni per la preparazione dei dati.

        • (Facoltativo) Per Richiedi filtri per metadati, specifica i filtri se vuoi che Amazon Bedrock utilizzi solo determinati prompt nei log per la distillazione.

        • Scegli Leggi i prompt o Leggi le coppie di prompt-risposta a seconda dei dati dei log che vuoi rendere accessibili ad Amazon Bedrock. Tieni presente che le risposte vengono lette solo se il modello insegnante corrisponde al modello nei tuoi log.

  8. Per Output della distillazione, specifica la posizione S3 in cui vuoi caricare le metriche e i report relativi al processo di distillazione.

    Per ulteriori informazioni, consulta Analizzare i risultati di un processo di personalizzazione dei modelli.

  9. Per Impostazioni VPC, scegli una configurazione del cloud privato virtuale per accedere al bucket S3 con i dati di addestramento.

    Per ulteriori informazioni, consulta (Facoltativo) Protezione dei processi di personalizzazione del modello utilizzando un VPC.

  10. Per Accesso al servizio, specifica il ruolo IAM per accedere al bucket S3 con i dati di addestramento. A meno che non utilizzi un profilo di inferenza interregionale o configurazioni VPC, puoi creare il ruolo nella console Amazon Bedrock con le autorizzazioni corrette configurate automaticamente. In alternativa, puoi utilizzare un ruolo di servizio esistente.

    Per un processo con configurazioni VPC di Amazon o che utilizza un profilo di inferenza interregionale, devi creare un nuovo ruolo di servizio in IAM con le autorizzazioni richieste.

    Per ulteriori informazioni, consulta Creare un ruolo di servizio IAM per la personalizzazione del modello.

  11. Scegli Crea un processo di distillazione per avviare il processo di distillazione. Dopo aver personalizzato un modello, puoi impostare l’inferenza per il modello. Per ulteriori informazioni, consulta Impostazione dell’inferenza per un modello personalizzato.

API

Devi almeno fornire i seguenti campi per inviare il processo di distillazione di modelli quando utilizzi l’API Amazon Bedrock.

Campo Description
baseModelIdentifier Identificatore del modello studente
customModelName Nome del nuovo modello distillato
jobName Nome del processo di distillazione di modelli
roleArn Ruolo che concede ad Amazon Bedrock le autorizzazioni per leggere file di addestramento e convalida e scrivere nel percorso di output
trainingDataConfig Percorso Amazon S3 contenente i dati di addestramento
outputDataConfig Percorso Amazon S3 contenente le metriche di addestramento e convalida
distillationConfig Input necessari per il processo di distillazione
customModelKmsKeyId Per crittografare il modello personalizzato
clientRequestToken Token per evitare che la richiesta venga completata più di una volta

I seguenti campi sono facoltativi:

Campo Description
customizationType Impostato su DISTILLATION per impostazione predefinita per i processi di distillazione
validationDataConfig Elenco dei percorsi Amazon S3 dei dati di convalida
jobTags Per associare tag al processo
customModelTags Per associare i tag al modello personalizzato risultante
vpcConfig VPC per proteggere i dati di addestramento e il processo di distillazione

Per evitare che la richiesta venga completata più di una volta, includi un clientRequestToken.

Puoi includere i seguenti campi facoltativi per ulteriori configurazioni.

Di seguito è riportato un frammento di esempio tratto dall'API. CreateModelCustomizationJob L’esempio utilizza le coppie di prompt-risposta presenti nel log delle invocazioni come origine dati di input e specifica il filtro per la selezione delle coppie di prompt-risposta. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Risposta

La risposta restituisce un jobArn del processo di distillazione di modelli.

Fasi successive