Creazione di un set di dati dei prompt personalizzati per un processo di valutazione del modello che utilizza lavoratori umani - Amazon Bedrock
Esecuzione di un processo di valutazione in cui Amazon Bedrock invoca automaticamente un modelloEsecuzione di un processo di valutazione utilizzando i dati di risposta all’inferenza

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un set di dati dei prompt personalizzati per un processo di valutazione del modello che utilizza lavoratori umani

Per creare un processo di valutazione del modello che utilizza lavoratori umani, devi specificare un set di dati dei prompt personalizzato. Questi prompt vengono quindi utilizzati durante l’inferenza con i modelli selezionati per la valutazione.

Se desideri valutare modelli non Amazon Bedrock utilizzando risposte già generate, includile nel set di dati dei prompt come descritto in Esecuzione di un processo di valutazione utilizzando i dati di risposta all’inferenza. Quando fornisci i dati di risposta di inferenza, Amazon Bedrock ignora la fase di invocazione del modello ed esegue il processo di valutazione con i dati forniti.

I set di dati dei prompt personalizzati devono essere archiviati in Amazon S3, utilizzare il formato di riga JSON e utilizzare l’estensione del file .jsonl. Ogni riga deve essere un oggetto JSON valido. Nel set di dati possono essere presenti fino a 1.000 prompt per processo di valutazione automatica.

Per i processi creati utilizzando la console, devi aggiornare la configurazione Cross Origin Resource Sharing (CORS) sul bucket S3. Per ulteriori informazioni sulle autorizzazioni CORS necessarie per questo ruolo, consulta Autorizzazioni CORS (Cross Origin Resource Sharing) richiesta per i bucket S3.

Esecuzione di un processo di valutazione in cui Amazon Bedrock invoca automaticamente un modello

Per eseguire un processo di valutazione in cui Amazon Bedrock invoca i modelli per te, fornisci un set di dati dei prompt contenente le seguenti coppie chiave-valore:

  • prompt: il prompt a cui desideri che i modelli rispondano.

  • referenceResponse: (facoltativo) una risposta ground truth a cui i lavoratori possono fare riferimento durante la valutazione.

  • category: (facoltativo) una chiave da utilizzare per filtrare i risultati quando vengono esaminati nella scheda del report di valutazione del modello.

Nell’interfaccia utente del lavoratore, ciò che specifichi per prompt e referenceResponse è visibile ai tuoi lavoratori umani.

Di seguito è riportato un esempio di set di dati personalizzati che contiene 6 input e utilizza il formato di riga JSON.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

L’esempio seguente riporta una voce singola espansa per maggiore chiarezza. Nel set di dati dei prompt effettivo, ogni riga deve essere un oggetto JSON valido.

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}

Esecuzione di un processo di valutazione utilizzando i dati di risposta all’inferenza

Per eseguire un processo di valutazione utilizzando le risposte già generate, è necessario fornire un set di dati dei prompt contenente le seguenti coppie chiave-valore:

  • prompt: il prompt utilizzato dai modelli per generare le risposte.

  • referenceResponse: (facoltativo) una risposta ground truth a cui i lavoratori possono fare riferimento durante la valutazione.

  • category: (facoltativo) una chiave da utilizzare per filtrare i risultati quando vengono esaminati nella scheda del report di valutazione del modello.

  • modelResponses: le risposte derivanti dall’inferenza che desideri valutare. Puoi fornire una o due voci con le seguenti proprietà nell’elenco modelResponses.

    • response: una stringa contenente la risposta dall’inferenza del modello.

    • modelIdentifier: una stringa che identifica il modello che ha generato le risposte.

Ogni riga del set di dati dei prompt deve contenere lo stesso numero di risposte (una o due). Inoltre, è necessario specificare lo stesso identificatore o gli stessi identificatori del modello in ogni riga e non è possibile utilizzare più di 2 valori univoci per modelIdentifier in un singolo set di dati.

Quello che segue è un esempio di set di dati personalizzato con 6 input in formato JSON.

{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}

L’esempio seguente mostra una voce singola in un set di dati dei prompt espanso per maggiore chiarezza.

{
    "prompt": "What is high intensity interval training?",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.",
    "category": "Fitness",
     "modelResponses": [
        {
            "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.",
            "modelIdentifier": "Model1"
        },
        {
            "response": "High-intensity interval training (HIIT) is a cardiovascular exercise strategy that alternates short bursts of intense, anaerobic exercise with less intense recovery periods, designed to maximize calorie burn, improve fitness, and boost metabolic rate.",
            "modelIdentifier": "Model2"
        }
    ]
}