Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Nozioni di base

Invia un lavoro di valutazione tramite Studio SageMaker

Passaggio 1: accedi alla valutazione dalla tua scheda modello

Dopo aver personalizzato il modello, accedi alla pagina di valutazione dalla scheda del modello.

Per informazioni sull'addestramento con modelli personalizzati a peso libero: https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html

SageMaker visualizza il modello personalizzato nella scheda I miei modelli:

Scegli Visualizza l'ultima versione, quindi scegli Valuta:

Fase 2: Invia il tuo lavoro di valutazione

Scegli il pulsante Invia e invia il tuo lavoro di valutazione. Questo invia un lavoro di benchmark MMLU minimo.

Per informazioni sui tipi di job di valutazione supportati, vedereTipi di valutazione e invio delle offerte di lavoro.

Fase 3: Tieni traccia dei progressi del tuo lavoro di valutazione

L'avanzamento del processo di valutazione viene monitorato nella scheda Fasi di valutazione:

Fase 4: Visualizza i risultati del tuo lavoro di valutazione

I risultati del lavoro di valutazione sono visualizzati nella scheda Risultati di valutazione:

Fase 5: Visualizza le valutazioni completate

Il lavoro di valutazione completato viene visualizzato in Valutazioni del modello di scheda:

Invia il tuo lavoro di valutazione tramite SageMaker Python SDK

Fase 1: Crea il tuo BenchMarkEvaluator

Passa il modello addestrato registrato, la posizione di output AWS S3 e l'ARN della risorsa MLFlow BenchMarkEvaluator e poi inizializzalo.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Fase 2: Invia il tuo lavoro di valutazione

Chiama il evaluate() metodo per inviare il lavoro di valutazione.

execution = evaluator.evaluate()

Fase 3: Tieni traccia dei progressi del tuo lavoro di valutazione

Chiama il wait() metodo di esecuzione per ottenere un aggiornamento in tempo reale dello stato di avanzamento del lavoro di valutazione.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Fase 4: Visualizza i risultati del lavoro di valutazione

Chiama il show_results() metodo per visualizzare i risultati del lavoro di valutazione.

execution.show_results()