Valutare i job di addestramento personalizzati

Una ricetta di valutazione è un file di configurazione YAML che definisce la modalità di esecuzione di un processo di valutazione del modello Amazon Nova. Con questa ricetta puoi valutare le prestazioni di un modello di base o addestrato rispetto a benchmark comuni o ai tuoi set di dati personalizzati. I parametri possono essere archiviati in Amazon S3 o TensorBoard. La valutazione fornisce parametri quantitativi che permettono di valutare le prestazioni di un modello in varie attività per determinare se sono necessarie ulteriori personalizzazioni.

La valutazione del modello è un processo offline, in cui i modelli vengono testati rispetto a benchmark fissi con risposte predefinite. Non vengono valutati in tempo reale o in base alle interazioni attive degli utenti. Per le valutazioni in tempo reale, puoi valutare un modello dopo averlo implementato su Amazon Bedrock chiamando le API di runtime di Amazon Bedrock.

Per istruzioni dettagliate sulla valutazione dei modelli Amazon Nova addestrati, consulta la sezione Evaluating your trained model della Guida per l’utente di SageMaker.