Avvio di un processo di valutazione automatica del modello in Amazon Bedrock - Amazon Bedrock

Avvio di un processo di valutazione automatica del modello in Amazon Bedrock

Puoi creare un processo di valutazione automatica del modello utilizzando Console di gestione AWS, AWS CLI o un SDK AWS supportato. In un processo di valutazione del modello automatica, il modello selezionato esegue l’inferenza utilizzando i prompt di un set di dati integrato supportato o un set di dati dei prompt personalizzato. Per ogni processo è inoltre necessario selezionare un tipo di attività. Il tipo di attività fornisce alcune metriche consigliate e set di dati dei prompt integrati. Per ulteriori informazioni sui tipi di attività e sulle metriche disponibili, consulta Tipi di attività di valutazione del modello in Amazon Bedrock.

Negli esempi seguenti viene mostrato come creare un processo di valutazione del modello automatica utilizzando la console Amazon Bedrock, AWS CLI, SDK per Python.

Tutti i processi di valutazione del modello automatica richiedono la creazione di un ruolo di servizio IAM. Per ulteriori informazioni sui requisiti IAM per la configurazione di un processo di valutazione del modello, consulta Requisiti del ruolo di servizio per i processi di valutazione del modello.

Negli esempi seguenti viene mostrato come creare un processo di valutazione del modello automatica. All’interno dell’API, puoi inoltre includere un profilo di inferenza nel processo specificandone l’ARN nel campo modelIdentifier.

Amazon Bedrock console

Utilizza la seguente procedura per creare un processo di valutazione del modello utilizzando la console Amazon Bedrock. Per completare correttamente questa procedura, assicurati che l’utente, il gruppo o il ruolo IAM disponga delle autorizzazioni sufficienti per accedere alla console. Per ulteriori informazioni, consulta Autorizzazioni della console richieste per creare un processo di valutazione del modello automatica.

Inoltre, tutti i set di dati dei prompt personalizzati che desideri specificare nel processo di valutazione del modello devono avere le autorizzazioni CORS richieste aggiunte al bucket Amazon S3. Per ulteriori informazioni sull’aggiunta delle autorizzazioni CORS richieste, consulta Autorizzazioni CORS (Cross Origin Resource Sharing) richiesta per i bucket S3.

Per creare un processo di valutazione del modello automatica

  1. Apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock/

  2. Nel riquadro di navigazione seleziona Valutazione del modello.

  3. Nella sceda Sviluppa una valutazione, in Automatico scegli Crea una valutazione automatica.

  4. Nella pagina Crea una valutazione automatica, fornisci le seguenti informazioni

    1. Nome di valutazione: assegna al processo di valutazione del modello un nome che descriva il processo. Questo nome viene mostrato nell'elenco dei processi del modello di valutazione. Il nome deve essere univoco nell'account in una Regione AWS.

    2. Descrizione (facoltativa): fornisci una descrizione facoltativa.

    3. Modelli: scegli il modello che desideri utilizzare nel processo di valutazione del modello.

      Per ulteriori informazioni sui modelli disponibili e su come accedervi in Amazon Bedrock, consulta Accesso ai modelli di fondazione Amazon Bedrock.

    4. (Facoltativo) Per modificare la configurazione dell'inferenza, scegli Aggiorna.

      La modifica della configurazione di inferenza cambia le risposte generate dai modelli selezionati. Per ulteriori informazioni sui parametri di inferenza disponibili, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

    5. Tipo di attività: scegli il tipo di attività che desideri che il modello tenti di eseguire durante il processo di valutazione del modello.

    6. Metriche e set di dati: l'elenco delle metriche disponibili e dei set di dati dei prompt integrati cambia in base all'attività selezionata. Puoi scegliere dall'elenco Set di dati integrati disponibili oppure puoi scegliere Usa il tuo set di dati dei prompt. Se scegli di utilizzare un set di dati dei prompt personalizzato, inserisci l’URI S3 esatto del relativo file o scegli Sfoglia S3 per cercare il tuo set di dati dei prompt.

    7. Risultati della valutazione: specifica l’URI S3 della directory in cui desideri salvare i risultati. Scegli Sfoglia S3 per cercare una posizione in Amazon S3.

    8. (Facoltativo) Per abilitare l’utilizzo di una chiave gestita dal cliente, scegli Personalizza le impostazioni di crittografia (avanzate). Quindi, fornisci l’ARN della chiave AWS KMS che desideri utilizzare.

    9. Ruolo IAM di Amazon Bedrock: scegli Usa un ruolo esistente per utilizzare il ruolo di servizio IAM che dispone già delle autorizzazioni richieste oppure scegli Crea un nuovo ruolo per creare un nuovo ruolo di servizio IAM.

  5. Quindi scegli Create (Crea).

Quando lo stato del processo cambia in Completato, puoi visualizzare la scheda del report del processo.

SDK for Python

Il seguente esempio crea un processo di valutazione automatica utilizzando Python.

import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)
AWS CLI

In AWS CLI, puoi utilizzare il comando help per verificare quali sono i parametri obbligatori e quali quelli facoltativi quando specifichi create-evaluation-job in AWS CLI.

aws bedrock create-evaluation-job help
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'