Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Démarrage

Soumettre une tâche d'évaluation via SageMaker Studio

Étape 1 : Accédez à l'évaluation à partir de votre modèle de carte

Après avoir personnalisé votre modèle, accédez à la page d'évaluation depuis votre fiche modèle.

Pour plus d'informations sur l'entraînement avec modèles personnalisés à poids ouvert : https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html

SageMaker visualise votre modèle personnalisé dans l'onglet Mes modèles :

Choisissez Afficher la dernière version, puis choisissez Evaluer :

Étape 2 : Soumettez votre travail d'évaluation

Cliquez sur le bouton Soumettre et soumettez votre tâche d'évaluation. Cela soumet un travail de référence MMLU minimal.

Pour plus d'informations sur les types de tâches d'évaluation pris en charge, consultezTypes d'évaluation et soumission des offres d'emploi.

Étape 3 : Suivez la progression de votre travail d'évaluation

La progression de votre tâche d'évaluation est suivie dans l'onglet Étapes de l'évaluation :

Étape 4 : Afficher les résultats de votre travail d'évaluation

Les résultats de votre tâche d'évaluation sont visualisés dans l'onglet Résultats de l'évaluation :

Étape 5 : Afficher vos évaluations terminées

Votre tâche d'évaluation terminée est affichée dans Évaluations de votre modèle de carte :

Soumettez votre tâche d'évaluation via le SDK SageMaker Python

Étape 1 : Créez votre BenchMarkEvaluator

Transmettez votre modèle entraîné enregistré, l'emplacement de sortie AWS S3 et l'ARN de la ressource MLflow à, BenchMarkEvaluator puis initialisez-le.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Étape 2 : Soumettez votre travail d'évaluation

Appelez la evaluate() méthode pour soumettre la tâche d'évaluation.

execution = evaluator.evaluate()

Étape 3 : Suivez la progression de votre travail d'évaluation

Appelez la wait() méthode d'exécution pour obtenir une mise à jour en direct de la progression de la tâche d'évaluation.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Étape 4 : Afficher les résultats de votre travail d'évaluation

Appelez la show_results() méthode pour afficher les résultats de votre tâche d'évaluation.

execution.show_results()