Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Creazione di un processo di valutazione automatica del modello in Studio La procedura guidata disponibile in Studio ti guida nella selezione di un modello da valutare, nella selezione di un tipo di attività, nella scelta di metriche e set di dati e nella configurazione delle risorse necessarie. Gli argomenti seguenti mostrano come formattare un set di dati di input personalizzato facoltativo, configurare l’ambiente e creare il processo di valutazione del modello in Studio. ## Formattazione del set di dati di input Per utilizzare il tuo set di dati dei prompt personalizzato, è necessario che sia file `jsonlines`, in cui ogni riga è un oggetto JSON valido. Ogni oggetto JSON *deve* contenere un solo prompt. Per garantire il corretto funzionamento del JumpStart modello selezionato, SageMaker Clarify formatta automaticamente tutti i set di dati richiesti nel formato più adatto alle **dimensioni di valutazione** del **modello** selezionate. Per i set di dati di prompt incorporati, SageMaker Clarify aggiungerà anche del testo didattico aggiuntivo. Per vedere come SageMaker Clarify modificherà i prompt, scegliete il modello di **prompt in una delle dimensioni di valutazione che avete aggiunto al processo di **valutazione** del modello**. Per un esempio di come modificare un modello di prompt, consulta [Esempio di modello di prompt](clarify-foundation-model-evaluate-whatis.md#clarify-prompt-template). L'interruttore consente di disattivare o attivare il supporto automatico per la creazione di modelli di prompt fornito da Clarify per i set di dati integrati. SageMaker La disattivazione della creazione di modelli di prompt automatici consente di specificare modelli di prompt personalizzati che verranno applicati a tutti i prompt del set di dati. Per sapere quali chiavi sono disponibili per un set di dati personalizzato nell’interfaccia utente, consulta i seguenti elenchi di attività. + `model_input`: necessario per indicare l’input per le seguenti attività. + Il **prompt** a cui il modello deve rispondere nelle attività **Generazione aperta**, **Tossicità** e **Accuratezza**. + La **domanda** a cui il modello deve rispondere nelle attività di **risposta alle domande** e **conoscenze fattuali**. + Il **testo** che il modello deve riassumere nell’attività di **sintesi testuale**. + Il **testo** che il modello deve classificare nelle attività di **classificazione**. + Il **testo** che il modello deve modificare nelle attività di **robustezza semantica**. + `target_output`: necessario per indicare la risposta rispetto alla quale il modello viene valutato per le attività seguenti. + La **risposta** per le attività di **risposta** alle **domande**, **accuratezza**, **robustezza** **semantica** e **valutazione** **fattuale**. + Per le attività di **accuratezza** e **robustezza** **semantica**, separa le risposte accettabili con ``. La valutazione accetta come corrette tutte le risposte separate da virgola. Ad esempio, utilizza `target_output="UKEnglandUnited Kingdom"` se vuoi accettare come corrette le risposte `UK`, `England` o `United Kingdom`. + (Facoltativo) `category`: genera punteggi di valutazione riportati per ogni categoria. + `sent_less_input`: obbligatorio per indicare il prompt che contiene **meno** bias per le attività di stereotipizzazione dei prompt. + `sent_more_input`: obbligatorio per indicare il prompt che contiene **più** bias per le attività di stereotipizzazione dei prompt. Una valutazione delle conoscenze fattuali richiede sia la domanda da porre sia la risposta da confrontare con la risposta del modello. Utilizza la chiave `model_input` con il valore contenuto nella domanda e la chiave `target_output` con il valore contenuto nella risposta come descritto di seguito: ``` {"model_input": "Bobigny is the capital of", "target_output": "Seine-Saint-Denis", "category": "Capitals"} ``` L’esempio precedente è un singolo oggetto JSON valido che costituisce un record in un file di input `jsonlines`. Ogni oggetto JSON viene inviato al modello come richiesta. Per effettuare più richieste, includi più righe. Il seguente esempio di input di dati riguarda un'attività di risposta a domande che utilizza una chiave `category` opzionale per la valutazione. ``` {"target_output":"Cantal","category":"Capitals","model_input":"Aurillac is the capital of"} {"target_output":"Bamiyan Province","category":"Capitals","model_input":"Bamiyan city is the capital of"} {"target_output":"Abkhazia","category":"Capitals","model_input":"Sokhumi is the capital of"} ``` Se valuti l’algoritmo nell’interfaccia utente, vengono impostati i seguenti valori predefiniti per il set di dati di input: + Il numero di record utilizzati nella valutazione è fisso. L’algoritmo campiona questo numero di richieste in modo casuale dal set di dati di input. + **Per modificare questo numero:** utilizza la libreria `fmeval` come descritto in **Personalizzazione del flusso di lavoro con la libreria `fmeval`** e imposta il parametro `num_records` sul numero di campioni desiderato o su `-1` per specificare l’intero set di dati. Il numero predefinito di record che viene valutati è `100` per le attività di accuratezza, stereotipizzazione dei prompt, tossicità, classificazione e robustezza semantica. Il numero predefinito di record per un’attività di conoscenze fattuali è `300`. + Il delimitatore di output di destinazione, come descritto in precedenza nel parametro `target_output`, è impostato su `` nell’interfaccia utente. + **Per separare le risposte accettabili utilizzando un altro delimitatore:** utilizza la libreria `fmeval` come descritto in **Personalizzazione del flusso di lavoro con la libreria `fmeval`** e imposta il parametro `target_output_delimiter` sul delimitatore desiderato. + È necessario utilizzare un modello di linguaggio basato su testo disponibile JumpStart per la valutazione del modello. Questi modelli hanno diversi parametri di configurazione per l'immissione dei dati che vengono passati automaticamente al FMeval processo. + **Per utilizzare un altro tipo di modello:** utilizza la libreria `fmeval` per definire la configurazione dei dati per il set di dati di input. ## Configurare l'ambiente Per eseguire una valutazione automatica per il modello linguistico di grandi dimensioni (LLM), è necessario configurare l’ambiente affinché abbia le autorizzazioni corrette per eseguire una valutazione. Quindi, puoi utilizzare l’interfaccia utente per ottenere aiuto nelle varie fasi del flusso di lavoro ed eseguire una valutazione. Le sezioni seguenti spiegano come utilizzare l’interfaccia utente per eseguire una valutazione automatica. **Prerequisiti** + Per eseguire una valutazione del modello in un’interfaccia utente di Studio, il ruolo AWS Identity and Access Management (IAM) e tutti i set di dati di input devono disporre delle autorizzazioni corrette. Se non disponi di un dominio SageMaker AI o di un ruolo IAM, segui i passaggi indicati[Guida alla configurazione con Amazon SageMaker AI](gs.md). **Per impostare le autorizzazioni per il bucket S3** Dopo aver creato il dominio e il ruolo, utilizza la procedura seguente per aggiungere le autorizzazioni necessarie per valutare il modello. 1. Apri la console Amazon SageMaker AI all'indirizzo [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/). 1. Nel riquadro di navigazione, immetti **S3** nella barra di ricerca nella parte superiore della pagina. 1. In **Servizi**, scegli **S3**. 1. Nel riquadro di navigazione, scegli **Bucket**. 1. Nella sezione **Bucket per uso generico**, in **Nome**, scegli il nome del bucket Amazon S3 da utilizzare per archiviare il tuo set di dati dei prompt personalizzato e la posizione in cui salvare i risultati del processo di valutazione del modello. Il bucket Amazon S3 deve trovarsi nella stessa istanza di Regione AWS Studio. Se non hai un bucket Amazon S3, procedi come segue. 1. Seleziona **Crea bucket** per aprire una nuova pagina **Crea bucket**. 1. Nella sezione **Configurazione generale**, in **Regione AWS **, seleziona la Regione AWS in cui si trova il modello di fondazione. 1. Assegna un nome al bucket S3 nella casella di input in **Nome bucket**. 1. Accetta tutte le scelte predefinite. 1. Seleziona **Crea bucket**. 1. Nella sezione **Bucket per uso generico**, in **Nome**, seleziona il nome del bucket S3 che hai creato. 1. Scegli la scheda **Autorizzazioni**. 1. Scorri fino alla sezione **Condivisione delle risorse multiorigine (CORS)** nella parte inferiore della finestra. Scegli **Modifica**. 1. Per aggiungere le autorizzazioni CORS al tuo bucket, copia il seguente codice nella casella di input. ``` [ { "AllowedHeaders": [ "*" ], "AllowedMethods": [ "GET", "PUT", "POST", "DELETE" ], "AllowedOrigins": [ "*" ], "ExposeHeaders": [ "Access-Control-Allow-Origin" ] } ] ``` 1. Scegli **Save changes** (Salva modifiche). **Per aggiungere le autorizzazioni alla policy IAM** 1. Immetti **IAM** nella barra di ricerca nella parte superiore della pagina. 1. In **Servizi**, seleziona **Identity and Access Management (IAM)**. 1. Nel riquadro di navigazione, scegli **Policy**. 1. Scegli **Crea policy**. Nella sezione **Editor di policy**, scegli **JSON**. 1. Scegli **Next (Successivo)**. 1. Verifica che le autorizzazioni seguenti siano presenti in **Editor di policy**. Puoi anche copiare e incollare quanto segue in **Editor di policy**. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "cloudwatch:PutMetricData", "logs:CreateLogStream", "logs:PutLogEvents", "logs:CreateLogGroup", "logs:DescribeLogStreams", "s3:GetObject", "s3:PutObject", "s3:ListBucket", "ecr:GetAuthorizationToken", "ecr:BatchCheckLayerAvailability", "ecr:GetDownloadUrlForLayer", "ecr:BatchGetImage" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "sagemaker:Search", "sagemaker:CreateProcessingJob", "sagemaker:DescribeProcessingJob" ], "Resource": "*" } ] } ``` ------ 1. Scegli **Next (Successivo)**. 1. Inserisci il nome della policy nella sezione **Dettagli della policy**, in **Nome della policy**. Facoltativamente, è possibile inserire una descrizione. Quando assegni la policy a un ruolo, dovrai cercare questo nome. 1. Scegli **Crea policy**. **Per aggiungere le autorizzazioni al ruolo IAM** 1. Nel riquadro di navigazione scegliere **Roles (Ruoli)**. Inserisci il nome del ruolo da utilizzare. 1. Seleziona il nome del ruolo in **Nome ruolo**. La finestra principale cambia per mostrare le informazioni sul tuo ruolo. 1. Nella sezione **Policy di autorizzazione**, seleziona la freccia giù accanto ad **Aggiungi autorizzazioni**. 1. Tra le opzioni visualizzate, scegli **Collega policy**. 1. Nell’elenco delle policy visualizzato, cerca la policy creata nella Fase 5. Seleziona la casella di controllo accanto al nome della policy. 1. Scegli la freccia giù accanto ad **Azioni**. 1. Tra le opzioni visualizzate, seleziona **Collega**. 1. Cerca il nome per il ruolo che hai creato. Seleziona la casella di controllo accanto a tale nome. 1. Scegli **Add Permissions (Aggiungi autorizzazioni)**. Un banner nella parte superiore della pagina dovrebbe indicare che la **policy è stata collegata correttamente al ruolo**. + . ## Creazione di un processo di valutazione automatica del modello in Studio Quando crei un processo automatico di valutazione del modello, puoi scegliere tra i JumpStart modelli basati su testo disponibili oppure puoi utilizzare un JumpStart modello basato su testo che hai precedentemente distribuito su un endpoint. Per creare un processo di valutazione automatica del modello, procedi come segue. **Per avviare un processo di valutazione automatica del modello in Studio.** 1. Apri la console Amazon SageMaker AI all'indirizzo [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/). 1. Immetti **SageMaker AI** nella barra di ricerca nella parte superiore della pagina. 1. In **Servizi**, seleziona **Amazon SageMaker AI**. 1. Scegli **Studio** nel riquadro di navigazione. 1. Scegli il tuo dominio dalla sezione **Nozioni di base** dopo aver selezionato la freccia giù in **Seleziona dominio**. 1. Scegli il tuo profilo utente dalla sezione **Nozioni di base** dopo aver selezionato la freccia giù in **Seleziona profilo utente**. 1. Scegli **Apri Studio** per aprire la pagina di destinazione di Studio. 1. Nel riquadro di navigazione primario, scegli **Processi**. 1. Quindi, scegli **Valutazione del modello**. **Per impostare un processo di valutazione** 1. Scegli **Valuta un modello**. 1. Nella **Fase 1. Specifica i dettagli del processo**, procedi come descritto di seguito: 1. Immetti il **nome** della valutazione del modello. Questo nome consente di identificare il processo di valutazione del modello dopo l’invio. 1. Immetti una **Descrizione** per aggiungere altro contesto al nome. 1. Scegli **Next (Successivo)**. 1. Nella **Fase 2. Configura la valutazione**, procedi come descritto di seguito: 1. In **Tipo di valutazione** scegli **Automatico**. 1. Quindi, scegli **Aggiungi modello alla valutazione**. 1. **Nella modalità **Aggiungi modello** puoi scegliere di utilizzare un **modello base Jumpstart pre-addestrato** o un endpoint AI. SageMaker ** **Se hai già distribuito un modello, scegli un **endpoint SageMaker AI, altrimenti scegli il JumpStart modello base Jumpstart pre-addestrato**.** 1. Poi, scegli **Salva**. 1. (*Facoltativo*) Dopo aver aggiunto il modello, scegli **Modello di prompt** per visualizzare il formato di input previsto per i prompt in base al modello selezionato. Per informazioni su come configurare un modello di prompt per un set di dati, consulta [Modelli di prompt](clarify-foundation-model-evaluate-whatis.md#clarify-automatic-jobs-summary-prompt-templates). + Per utilizzare il modello di prompt predefinito, procedi come descritto di seguito: 1. Attiva **Utilizza i modelli di prompt predefiniti forniti dai set di dati**. 1. (Facoltativo) Per ogni set di dati, rivedi il prompt fornito da Clarify. 1. Scegli **Save** (Salva). + Per utilizzare un modello di progetto personalizzato, procedi come descritto di seguito: 1. Disattiva **Utilizza i modelli di prompt predefiniti forniti dai set di dati**. 1. Se Clarify visualizza un prompt predefinito, puoi personalizzarlo oppure rimuoverlo e fornire un prompt personalizzato. Devi includere la variabile `$model_input` nel modello di prompt. 1. Scegli **Save** (Salva). 1. Quindi, in **Tipo di attività**, scegli un tipo di attività. Per ulteriori informazioni sui tipi di attività e sulle dimensioni di valutazione associate, consulta la sezione **Valutazione automatica** in **[Utilizzo dei set di dati dei prompt e delle dimensioni di valutazione disponibili nei processi di valutazione del modello](clarify-foundation-model-evaluate-overview.md)**. 1. Nella sezione **Metriche di valutazione**, scegli una **dimensione di valutazione**. La casella di testo sotto **Descrizione** contiene un contesto aggiuntivo sulla dimensione. Dopo aver selezionato un’attività, le metriche associate all’attività vengono visualizzate in **Metriche**. Procedi come segue in questa sezione. 1. Seleziona una dimensione di valutazione dalla freccia giù in **Dimensione di valutazione**. 1. Scegli un set di dati di valutazione. Puoi scegliere di utilizzare il tuo set di dati o un set di dati integrato. Se desideri utilizzare il tuo set di dati per valutare il modello, devi formattarlo in un modo utilizzabile. FMEval Deve inoltre trovarsi in un bucket S3 con le autorizzazioni CORS descritte nella sezione [Configurare l'ambiente](#clarify-foundation-model-evaluate-auto-ui-setup) precedente. Per ulteriori informazioni su come formattare un set di dati personalizzato, consulta [Utilizzo di un set di dati di input personalizzato](clarify-foundation-model-evaluate-auto-lib-custom.md#clarify-foundation-model-evaluate-auto-lib-custom-input). 1. Inserisci una posizione del bucket S3 in cui desideri salvare i risultati della valutazione dell’output. Questo file è in formato jsonlines (.jsonl). 1. Configura il processore nella sezione **Configurazione del processore** con i seguenti parametri: + Utilizza **Numero di istanze** per specificare il numero di istanze di calcolo da utilizzare per eseguire il modello. Se utilizzi più di un’istanza `1`, il tuo modello verrà eseguito in istanze parallele. + Utilizza **Tipo di istanza** per scegliere il tipo di istanza di calcolo da utilizzare per eseguire il tuo modello. Per ulteriori informazioni sui tipi di istanze, consulta [Tipi di istanze disponibili per l'uso con i notebook Amazon SageMaker Studio Classic](notebooks-available-instance-types.md). + Usa la chiave **Volume KMS** per specificare la tua chiave di crittografia AWS Key Management Service (AWS KMS). SageMaker L'intelligenza artificiale utilizza la tua AWS KMS chiave per crittografare il traffico in entrata dal modello e dal tuo bucket Amazon S3. Per ulteriori informazioni sulle chiavi, consulta [AWS Key Management Service](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html). + Usa la chiave **Output KMS per specificare la chiave** di AWS KMS crittografia per il traffico in uscita. + Utilizza **Ruolo IAM** per specificare l’accesso e le autorizzazioni per il processore predefinito. Inserisci il ruolo IAM che hai configurato in [Configurare l'ambiente](#clarify-foundation-model-evaluate-auto-ui-setup). 1. Dopo aver specificato il modello e i criteri, scegli **Avanti**. La finestra principale passa alla **Fase 5 Rivedi e salva**. **Revisione ed esecuzione del processo di valutazione** 1. Rivedi tutti i parametri, il modello e i dati che hai selezionato per la valutazione. 1. Scegli **Crea risorsa** per eseguire la valutazione. 1. Per verificare lo stato del processo, vai all’inizio della sezione **Valutazioni dei modelli** della pagina.