Creare un processo di valutazione dei modelli utilizzando metriche personalizzate

Apri la console Amazon Bedrock.

Nel riquadro a sinistra in Inferenza e valutazione, seleziona Valutazioni.

Nel riquadro Valutazioni del modello, scegli Crea e seleziona Automatico: modello come giudice.

Inserisci i dettagli della valutazione dei modelli seguendo questa procedura:

1. Nel riquadro Dettagli della valutazione del modello, in Nome della valutazione, inserisci un nome per il processo di valutazione. Il nome specificato deve essere univoco all’interno della Regione AWS.

2. Se lo desideri, in Descrizione - facoltativa, inserisci una descrizione per il processo di valutazione.

3. In Modello valutatore, scegli Seleziona modello e seleziona il modello giudice che intendi utilizzare per eseguire il processo di valutazione. Tieni presente che il modello selezionato qui viene utilizzato per valutare il modello di generatore rispetto a qualsiasi metrica integrata selezionata. Puoi scegliere un modello di valutatore diverso da utilizzare per le tue metriche personalizzate in una fase successiva.

Inserisci l’origine di inferenza per il tuo processo di valutazione. Con le valutazioni dei modelli di Amazon Bedrock puoi valutare le prestazioni dei modelli Amazon Bedrock o di altri modelli fornendo i tuoi dati di risposta all’inferenza nel set di dati di prompt. Per selezionare un modello Amazon Bedrock, procedi come segue:

1. Nel riquadro Origine di inferenza, in Seleziona l’origine, scegli Modelli Bedrock.

2. In Seleziona modello scegli Seleziona modello.

3. Nel pop-up, seleziona il modello che desideri valutare e scegli Applica.

4. (Facoltativo) Per modificare i parametri di inferenza del modello, per Configurazione dell’inferenza, scegli Aggiorna.

Per importare i tuoi dati di risposta all’inferenza, procedi come segue:

1. Nel riquadro Origine di inferenza, in Seleziona l’origine scegli Porta le tue risposte di inferenza.

2. Per Nome dell’origine, inserisci un nome per il modello che hai utilizzato per creare i dati di risposta. Il nome inserito deve corrispondere al parametro modelIdentifier nel set di dati di prompt.

Seleziona le metriche integrate su cui il modello di valutatore dovrà valutare le risposte del modello di generatore nel riquadro Parametri.

Per aggiungere un’altra metrica personalizzata, inizia selezionando il modello di valutatore che desideri utilizzare per valutare le metriche. Nel riquadro Metriche personalizzate procedi come segue:

1. Scegli Seleziona modello.

2. Nel pop-up seleziona il modello che desideri utilizzare.

3. Scegli Applica.

In Nome parametro immetti un nome per la tua metrica.

Puoi configurare la metrica in tre modi: fornendo un file JSON che specifica la metrica, modificando un prompt di metrica integrato esistente da un modello o inserendo un prompt direttamente nella console per l’utilizzo da parte del modello di valutatore.

Per creare una metrica da un file JSON, procedi come segue:

1. In Scegli il tipo di metrica, seleziona Importa file JSON.

2. In Importa file JSON, seleziona Scegli file.

3. Utilizzando il selettore file, seleziona il file JSON con la definizione di metrica personalizzata e scegli Apri. Per informazioni sullo schema per specificare una metrica personalizzata utilizzando un file JSON e per visualizzare alcuni file di esempio, consulta Creazione di un file JSON per creare una metrica personalizzata.

4. (Facoltativo) Per creare un’altra metrica, scegli Aggiungi parametri personalizzati. È possibile creare fino a 10 metriche personalizzate per un processo di valutazione.

   Una volta terminata la creazione delle metriche personalizzate, procedi alla fase 13 per configurare i set di dati per il processo di valutazione.

Per creare una metrica personalizzata a partire da un modello integrato, procedi come segue:

1. In Scegli il tipo di metrica, seleziona Usa un modello.

2. In Seleziona un modello, utilizza l’elenco a discesa per scegliere un prompt di metrica integrato esistente da utilizzare come punto di partenza per la metrica personalizzata.

3. In Istruzioni, modifica il prompt selezionato in base al tuo caso d’uso. Per le best practice e per un elenco degli elementi necessari per la creazione di un prompt di metriche personalizzate, consulta Creare un prompt per una metrica personalizzata.

4. Se desideri che il tuo processo di valutazione generi output strutturati con punteggi classificati, mantieni selezionata l’opzione Schema di output abilitato (consigliato). Non è necessario che la configurazione metrica includa uno schema di output, ma ti consigliamo di definirne uno. Se non utilizzi uno schema, i risultati visualizzati includeranno solo spiegazioni senza punteggi o visualizzazione dei dati.

5. In Tipo di scala, seleziona Numerica o Stringa in base al caso d’uso e inserisci le definizioni della scala e della descrizione nelle caselle di testo. Per indicazioni e best practice sulla definizione delle scale di output, consulta Definizione di uno schema di output (scala di valutazione).

6. (Facoltativo) Per creare un’altra metrica, scegli Aggiungi parametri personalizzati. È possibile creare fino a 10 metriche personalizzate per un processo di valutazione.

   Una volta terminata la creazione delle metriche personalizzate, procedi alla fase 13 per configurare i set di dati per il processo di valutazione.

Per creare una metrica personalizzata partendo da zero nella console, procedi come segue:

1. In Scegli il tipo di metrica, seleziona Personalizzata.

2. In Istruzioni, inserisci il prompt per la metrica personalizzata direttamente nella casella di testo. Per le best practice e per un elenco degli elementi necessari per la creazione di un prompt di metriche personalizzate, consulta Creazione di prompt e best practice.

3. Se desideri che il tuo processo di valutazione generi output strutturati con punteggi classificati, mantieni selezionata l’opzione Schema di output abilitato (consigliato). Non è necessario che la configurazione metrica includa uno schema di output, ma ti consigliamo di definirne uno. Se non utilizzi uno schema, i risultati visualizzati includeranno solo spiegazioni senza punteggi o visualizzazione dei dati.

4. In Tipo di scala, seleziona Numerica o Stringa in base al caso d’uso e inserisci le definizioni della scala e della descrizione nelle caselle di testo. Per indicazioni e best practice sulla definizione delle scale di output, consulta Definizione di uno schema di output (scala di valutazione).

5. (Facoltativo) Per creare un’altra metrica, scegli Aggiungi parametri personalizzati. È possibile creare fino a 10 metriche personalizzate per un processo di valutazione.

   Una volta terminata la creazione delle metriche personalizzate, procedi alla fase successiva per configurare i set di dati per il processo di valutazione.

Definisci le posizioni di input e output per il set di dati e i risultati effettuando le seguenti operazioni:

1. Nel riquadro Set di dati sotto Scegli un set di dati dei prompt, inserisci l’URI Amazon S3 per il set di dati di prompt oppure scegli Sfoglia S3 e seleziona il tuo file. Per vedere una definizione del formato del set di dati di prompt richiesto per un processo di valutazione model-as-a-judge, consulta. Creazione di un set di dati dei prompt per un processo di valutazione del modello che utilizza un modello come giudice

2. In Risultati della valutazione, inserisci una posizione Amazon S3 in cui Amazon Bedrock possa salvare i risultati oppure scegli Sfoglia S3 per selezionare una posizione.

In Ruolo IAM di Amazon Bedrock - Autorizzazioni, seleziona Crea e usa un nuovo ruolo di servizio per fare in modo che Amazon Bedrock crei un nuovo ruolo IAM per il processo di valutazione oppure seleziona Utilizza un ruolo di servizio esistente per selezionare un ruolo IAM esistente. Per un elenco delle autorizzazioni necessarie per creare ed eseguire un processo di valutazione, consulta Prerequisiti.

(Facoltativo) Per utilizzare la tua chiave KMS per crittografare i dati di valutazione, in KMSKey - Facoltativo, seleziona Personalizza le impostazioni di crittografia (avanzate) e seleziona la tua chiave AWS KMS. Per impostazione predefinita, Amazon Bedrock crittografa i dati dei processi di valutazione con una chiave KMS di proprietà di AWS.

Scegli Crea per completare la creazione del processo di valutazione.