Utilizzo della libreria fmeval per eseguire una valutazione automatica

Prerequisiti

• Per eseguire una valutazione del modello in un’interfaccia utente di Studio, il ruolo AWS Identity and Access Management (IAM) e tutti i set di dati di input devono disporre delle autorizzazioni corrette. Se non disponi di un dominio SageMaker AI o di un ruolo IAM, segui i passaggi indicati. Guida alla configurazione con Amazon SageMaker AI

Per impostare le autorizzazioni per il bucket Amazon S3

Dopo aver creato il dominio e il ruolo, utilizza la procedura seguente per aggiungere le autorizzazioni necessarie per valutare il modello.

1. Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. Nel riquadro di navigazione, immetti S3 nella barra di ricerca nella parte superiore della pagina.

3. In Servizi, scegli S3.

4. Nel riquadro di navigazione, scegli Bucket.

5. Nella sezione Bucket per uso generico, in Nome, scegli il nome del bucket S3 da utilizzare per archiviare l’input e l’output del modello nella console. Se non hai già un bucket S3, procedi come descritto di seguito:

   1. Seleziona Crea bucket per aprire una nuova pagina Crea bucket.

   2. Nella sezione Configurazione generale, in Regione AWS, seleziona la Regione AWS in cui si trova il modello di fondazione.

   3. Assegna un nome al bucket S3 nella casella di input in Nome bucket.

   4. Accetta tutte le scelte predefinite.

   5. Seleziona Crea bucket.

   6. Nella sezione Bucket per uso generico, in Nome, seleziona il nome del bucket S3 che hai creato.

6. Scegli la scheda Autorizzazioni.

7. Scorri fino alla sezione Condivisione delle risorse multiorigine (CORS) nella parte inferiore della finestra. Scegli Modifica.

8. Per aggiungere le autorizzazioni al tuo bucket per le valutazioni dei modelli di fondazione, assicurati che nella casella di input compaia il codice seguente. Puoi anche copiare e incollare quanto segue nella casella di input.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Scegli Save changes (Salva modifiche).

Per aggiungere le autorizzazioni alla policy IAM

1. Immetti IAM nella barra di ricerca nella parte superiore della pagina.

2. In Servizi, seleziona Identity and Access Management (IAM).

3. Nel riquadro di navigazione, scegli Policy.

4. Inserisci AmazonSageMakerFullAccessnella barra di ricerca. Seleziona il pulsante di opzione accanto alla policy visualizzata. Ora il pulsante Azioni può essere selezionato.

5. Scegli la freccia giù accanto ad Azioni. Vengono visualizzate due opzioni.

6. Scegli Collega.

7. Nell’elenco IAM visualizzato, cerca il nome del ruolo che hai creato. Seleziona la casella di controllo accanto a tale nome.

8. Scegli Collega policy.

Nozioni di base sull’utilizzo di Studio

1. Immetti SageMaker AI nella barra di ricerca nella parte superiore della pagina.

2. In Servizi, seleziona Amazon SageMaker AI.

3. Scegli Studio nel riquadro di navigazione.

4. Scegli il tuo dominio dalla sezione Nozioni di base dopo aver selezionato la freccia giù in Seleziona dominio.

5. Scegli il tuo profilo utente dalla sezione Nozioni di base dopo aver selezionato la freccia giù in Seleziona profilo utente.

6. Scegli Apri Studio per aprire la pagina di destinazione di Studio.

7. Seleziona il browser di file dal riquadro di navigazione e vai alla directory root.

8. Seleziona Crea notebook.

9. Nella finestra di dialogo dell’ambiente del notebook visualizzata, seleziona l’immagine Data Science 3.0.

10. Scegli Seleziona.

11. Installa il pacchetto fmeval nell’ambiente di sviluppo, come mostrato nell’esempio di codice seguente:

    !pip install fmeval

    Nota

    Installa la libreria fmeval in un ambiente che utilizza Python 3.10. Per ulteriori informazioni sui requisiti necessari per l’esecuzione di fmeval, consulta Dipendenze di fmeval.

Definire un JumpStart modello e configurare un ModelRunner

1. Fornisci un endpoint in uno dei seguenti modi:

   • EndpointNameSpecificare su un JumpStart endpoint esistente, ilmodel_id, emodel_version.

   • Specificate la model_id e model_version per il modello e create un JumpStart endpoint.

   Il seguente esempio di codice mostra come creare un endpoint per un Llama 2 foundation modelche è disponibile tramite. JumpStart

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   L'esempio di codice precedente si riferisce a EULA, che sta per end-use-license-agreement (EULA). L’EULA è disponibile nella descrizione della scheda del modello in uso. Per utilizzare alcuni JumpStart modelli, è necessario specificareaccept_eula=true, come mostrato nella precedente chiamata a. predict Per ulteriori informazioni sull’EULA, consulta la sezione Licenses and model sources in Origini dei modelli e contratti di licenza.

   È possibile trovare un elenco di JumpStart modelli disponibili in Built-in Algorithms with pre-training Model Table.

2. Configura ModelRunner con JumpStartModelRunner, come illustrato nell’esempio seguente:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Nell’esempio di configurazione precedente, utilizza gli stessi valori per endpoint_name, model_id e model_version che hai utilizzato per creare l’endpoint.

3. Testa ModelRunner. Invia una richiesta di esempio al tuo modello come mostrato nell’esempio di codice seguente:

   js_model_runner.predict("What is the capital of London")

Definisci un modello Amazon Bedrock e configura un ModelRunner

1. Per definire e stampare i dettagli del modello, utilizza il codice di esempio seguente per un modello Titan disponibile tramite Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Nell’esempio di codice precedente, il parametro accept specifica il formato dei dati da utilizzare per valutare il tuo LLM. contentType specifica il formato dei dati di input nella richiesta. Solo MIME_TYPE_JSON è supportato per accept e contentType per i modelli Amazon Bedrock. Per ulteriori informazioni su questi parametri, consultare InvokeModelWithResponseStream.

2. Per configurare ModelRunner, utilizza BedrockModelRunner come illustrato nell’esempio seguente:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Definisci i parametri della configurazione ModelRunner come segue.

   • Inserisci gli stessi valori per model_id utilizzati per implementare il modello.

   • Utilizza output per specificare il formato della risposta json generata. Ad esempio, se l’LLM ha fornito la risposta [{"results": "this is the output"}], output='results[0].outputText' restituisce this is the output.

   • Utilizza content_template per specificare in che modo l’LLM interagisce con le richieste. Il modello di configurazione seguente viene fornito esclusivamente per spiegare l’esempio di configurazione precedente e non è obbligatorio.

     • Nell’esempio di configurazione precedente, la variabile inputText specifica il prompt, che acquisisce la richiesta effettuata dall’utente.

     • La variabile textGenerationConfig specifica in che modo l’LLM genera le risposte:

       • Il parametro maxTokenCount viene utilizzato per contenere la lunghezza della risposta limitando il numero di token restituiti dall’LLM.

       • Il parametro stopSequences viene utilizzato per specificare un elenco di sequenze di caratteri che indicano all’LLM di arrestare la generazione di una risposta. L’output del modello viene arrestato la prima volta che una delle stringhe elencate viene rilevata nell’output. Ad esempio, puoi utilizzare una sequenza di ritorno a capo per limitare la risposta del modello a una sola riga.

       • Il parametro topP controlla la casualità limitando il set di token da considerare nella generazione del token successivo. Questo parametro accetta valori compresi tra 0.0 e 1.0. I valori più alti di topP producono un set che contiene un vocabolario più ampio, mentre i valori più bassi limitano il set di token alle parole più probabili.

       • Il parametro temperature controlla la casualità del testo generato e accetta valori positivi. I valori più alti di temperature indicano al modello di generare risposte più casuali e diversificate. I valori più bassi generano risposte più prevedibili. Gli intervalli tipici di temperature sono compresi tra 0.2 e 2.0.

       Per ulteriori informazioni sui parametri per uno specifico modello di fondazione Amazon Bedrock, consulta Parametri di inferenza per modelli di fondazione.

     Il formato del parametro content_template dipende dagli input e dai parametri supportati dal tuo LLM. Ad esempio, il modello Anthropic’s Claude 2 può supportare il content_template seguente:

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Un altro esempio è il modello Falcon 7b che può supportare il content_template seguente.

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Infine, testa ModelRunner. Invia una richiesta di esempio al tuo modello come mostrato nell’esempio di codice seguente:

     bedrock_model_runner.predict("What is the capital of London?")