Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte

Reichen Sie einen Bewertungsauftrag über SageMaker Studio ein

Schritt 1: Navigieren Sie auf Ihrer Modellkarte zur Bewertung

Nachdem Sie Ihr Modell angepasst haben, navigieren Sie auf Ihrer Modellkarte zur Bewertungsseite.

Informationen zum Training mit benutzerdefinierten Modellen mit offenem Gewicht finden Sie unter: https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html

SageMaker visualisiert Ihr benutzerdefiniertes Modell auf der Registerkarte Meine Modelle:

Wählen Sie „Aktuelle Version anzeigen“ und dann „Auswerten“:

Schritt 2: Reichen Sie Ihren Bewertungsauftrag ein

Wählen Sie die Schaltfläche „Senden“ und senden Sie Ihren Bewertungsauftrag ab. Dadurch wird ein minimaler MMLU-Benchmark-Job eingereicht.

Informationen zu den unterstützten Evaluierungsauftragstypen finden Sie unterArten der Bewertung und Einreichung von Aufträgen.

Schritt 3: Verfolgen Sie den Fortschritt Ihres Evaluierungsauftrags

Der Fortschritt Ihres Evaluierungsauftrags wird auf der Registerkarte „Bewertungsschritte“ verfolgt:

Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Evaluierungsaufträge an

Die Ergebnisse Ihrer Evaluierungsaufträge werden auf der Registerkarte „Bewertungsergebnisse“ visualisiert:

Schritt 5: Sehen Sie sich Ihre abgeschlossenen Bewertungen an

Ihr abgeschlossener Bewertungsauftrag wird in den Bewertungen Ihrer Modellkarte angezeigt:

Reichen Sie Ihren Evaluierungsauftrag über das SageMaker Python SDK ein

Schritt 1: Erstellen Sie Ihre BenchMarkEvaluator

Übergeben Sie Ihr registriertes trainiertes Modell, den AWS S3-Ausgabeort und den MLflow-Ressourcen-ARN an BenchMarkEvaluator und initialisieren Sie es dann.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Schritt 2: Reichen Sie Ihren Bewertungsauftrag ein

Rufen Sie die evaluate() Methode auf, um den Bewertungsauftrag einzureichen.

execution = evaluator.evaluate()

Schritt 3: Verfolgen Sie den Fortschritt Ihres Evaluierungsauftrags

Rufen Sie die wait() Methode der Ausführung auf, um eine Live-Aktualisierung des Fortschritts des Evaluierungsauftrags zu erhalten.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Evaluierungsaufgabe an

Rufen Sie die show_results() Methode auf, um die Ergebnisse Ihrer Bewertungsaufträge anzuzeigen.

execution.show_results()