Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Anpassen von Modellen mit Amazon AI SageMaker
Die Anpassung von SageMaker Amazon-KI-Modellen ist eine Funktion, die den traditionell komplexen und zeitaufwändigen Prozess der Anpassung von KI-Modellen von einem monatelangen Unterfangen in einen optimierten Arbeitsablauf verwandelt, der innerhalb weniger Tage abgeschlossen werden kann. Diese Funktion befasst sich mit der kritischen Herausforderung, vor der KI-Entwickler stehen, die Basismodelle mit firmeneigenen Daten anpassen müssen, um hochgradig differenzierte Kundenerlebnisse zu schaffen. Eine ausführliche Dokumentation zur Anpassung, einschließlich step-by-step Anleitungen und erweiterter Konfigurationsoptionen, finden Sie in diesem SageMaker KI-Leitfaden. Einen kurzen Überblick über die Anpassung von Nova-Modellen finden [Sie unter Anpassen und Feinabstimmung SageMaker](https://docs.aws.amazon.com/nova/latest/userguide/customize-fine-tune-sagemaker.html) im Amazon Nova-Benutzerhandbuch.
Zu den Funktionen gehören eine neue Benutzerschnittstelle, die die Anforderungen natürlicher Sprache versteht, sowie eine umfassende Suite fortschrittlicher Techniken zur Modellanpassung, die alle auf einer serverlosen Infrastruktur basieren, die den betrieblichen Aufwand für die Verwaltung von Rechenressourcen überflüssig macht. Ganz gleich, ob Sie Anwendungen für die Rechtsforschung entwickeln, Chatbots für den Kundenservice verbessern oder domänenspezifische KI-Agenten entwickeln, diese Funktion beschleunigt Ihren Weg von proof-of-concept der Produktionsbereitstellung bis zur Serienbereitstellung.
Funktionen in Model Customization powered by Amazon Bedrock Evaluations können Daten sicher AWS-Regionen innerhalb Ihrer Region zur Verarbeitung übertragen. Weitere Informationen finden Sie in der [Dokumentation zu Amazon Bedrock Evaluations](https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-judge.html).
## Die wichtigsten Konzepte
**Serverloses Training**
Eine vollständig verwaltete Recheninfrastruktur, die jegliche Komplexität der Infrastruktur abstrahiert, sodass Sie sich ausschließlich auf die Modellentwicklung konzentrieren können. Dazu gehören die automatische Bereitstellung von GPU-Instanzen (P5, P4de, P4d, G5) auf der Grundlage von Modellgröße und Schulungsanforderungen, voroptimierte Schulungsrezepte, die bewährte Methoden für jede Anpassungstechnik beinhalten, Echtzeitüberwachung mit Live-Metriken und Protokollen, auf die über die Benutzeroberfläche zugegriffen werden kann, und automatische Bereinigung der Ressourcen nach Abschluss der Schulung zur Kostenoptimierung.
**Techniken zur Modellanpassung**
Umfassender Satz fortschrittlicher Methoden, darunter überwachte Feinabstimmung (SFT), direkte Präferenzoptimierung (DPO), Reinforcement-Learning mit verifizierbaren Belohnungen (RLVR) und Reinforcement-Learning mit KI-Feedback (RLAIF).
**Benutzerdefiniertes Modell**
Eine spezielle Version eines Basismodells, das an einen bestimmten Anwendungsfall angepasst wurde, indem es anhand Ihrer eigenen Daten trainiert wurde. Das Ergebnis ist ein KI-Modell, das die allgemeinen Funktionen des ursprünglichen Foundation-Modells beibehält und gleichzeitig domänenspezifisches Wissen, Terminologie, Stil oder Verhalten hinzufügt, die auf Ihre Anforderungen zugeschnitten sind.
**Ressourcen zur Anpassung des KI-Modells**
Ressourcen und Artefakte, die zum Trainieren, Verfeinern und Evaluieren benutzerdefinierter Modelle während der Modellanpassung verwendet werden. Zu diesen Ressourcen gehören **Datensätze**, bei denen es sich um Sammlungen von Trainingsbeispielen (Prompt-Response-Paare, domänenspezifischer Text oder beschriftete Daten) handelt, die zur Feinabstimmung eines Basismodells verwendet werden, um bestimmte Verhaltensweisen, Kenntnisse oder Stile zu erlernen, und **Evaluatoren**, bei denen es sich um Mechanismen zur Bewertung und Verbesserung der Modellleistung handelt, entweder durch ***Belohnungsfunktionen*** (codebasierte Logik, die Modellergebnisse anhand bestimmter Kriterien bewertet, die beim RLVR-Training und bei der Bewertung benutzerdefinierter Punktzahlen verwendet werden) oder durch ***Belohnungsanweisungen*** ( Anweisungen in natürlicher Sprache, die einem LLM helfen, die Qualität der Modellantworten zu beurteilen, die bei der Schulung und LLM-as-a-judge Bewertung von RLAIF verwendet werden).
**Modellpaketgruppe**
Ein Sammelcontainer, der alle protokollierten Modelle aus Trainingsjobs nachverfolgt und einen zentralen Speicherort für Modellversionen und deren Herkunft bietet.
**Protokolliertes Modell**
Die Ausgabe, die von SageMaker KI bei der Ausführung von serverlosen Trainingsaufträgen erzeugt wird. Dabei kann es sich um ein fein abgestimmtes Modell (erfolgreicher Job), einen Checkpoint (fehlgeschlagener Job mit Checkpoint) oder zugehörige Metadaten (fehlgeschlagener Job ohne Checkpoint) handeln.
**Registriertes Modell**
Ein protokolliertes Modell, das für formelle Nachverfolgungs- und Steuerungszwecke markiert wurde und ein vollständiges Herkunfts- und Lebenszyklusmanagement ermöglicht.
**Abstammung**
Die automatisch erfassten Beziehungen zwischen Schulungsaufträgen, Eingabedatensätzen, Ausgabemodellen, Bewertungsjobs und Bereitstellungen in SageMaker KI und Amazon Bedrock.
**Kontoübergreifendes Teilen**
Die Möglichkeit, Modelle, Datensätze und Evaluatoren mithilfe von AWS Resource Access Manager (RAM) AWS kontenübergreifend gemeinsam zu nutzen und gleichzeitig die vollständige Transparenz der Herkunft zu gewährleisten.
# Anpassen von Amazon Nova-Modellen auf Amazon AI SageMaker
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Anpassen von Amazon Nova-Modellen auf Amazon SageMaker AI im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model.html).
# Amazon-Nova-Rezepte
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Amazon Nova-Rezepte im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-recipes.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-recipes.html).
# Personalisierung von Amazon Nova bei SageMaker Schulungsjobs
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Amazon Nova-Anpassung bei SageMaker Schulungsaufträgen im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-training-job.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-training-job.html).
**Topics**
+ [Amazon-Nova-Destillation](nova-distillation.md)
+ [Nova-Anpassungs-SDK](nova-customization-sdk.md)
+ [Feinabstimmung von Amazon Nova-Modellen mithilfe von SageMaker Trainingsjobs](nova-fine-tuning-training-job.md)
+ [Überwachung des Fortschritts über mehrere Iterationen hinweg](nova-model-monitor.md)
+ [Evaluieren Sie Ihr SageMaker KI-trainiertes Modell](nova-model-evaluation.md)
# Amazon-Nova-Destillation
Dieses Thema wurde verschoben. Die neuesten Informationen finden Sie unter Amazon Nova-Destillation im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-distillation.html).
# Nova-Anpassungs-SDK
Das Amazon Nova Customization SDK ist ein umfassendes Python-SDK zur Anpassung von Amazon Nova-Modellen über ihren gesamten Lebenszyklus hinweg — von der Schulung und Evaluierung bis hin zur Bereitstellung und Inferenz.
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Nova Customization SDK im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-customization-sdk.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-customization-sdk.html).
# Feinabstimmung von Amazon Nova-Modellen mithilfe von SageMaker Trainingsjobs
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Feinabstimmung von Amazon Nova-Modellen mithilfe von SageMaker Trainingsaufträgen im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-fine-tune-1.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/smtj-training.html).
# Überwachung des Fortschritts über mehrere Iterationen hinweg
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Monitoring Progress Across Iterations im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-monitor.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-monitor.html).
# Evaluieren Sie Ihr SageMaker KI-trainiertes Modell
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Evaluierung Ihres SageMaker KI-trainierten Modells im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-evaluation.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-evaluation.html).
# Amazon Nova-Anpassung bei Amazon SageMaker HyperPod
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Amazon Nova-Anpassung bei Amazon SageMaker HyperPod im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp.html).
# Nova-Anpassungs-SDK
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Nova Customization SDK im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-customization-sdk.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-customization-sdk.html).
# Leitfaden HyperPod für Amazon Essential Commands
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie im SageMaker HyperPod Essential Commands Guide im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-essential-commands-guide.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-essential-commands-guide.html).
# Einen HyperPod EKS-Cluster mit eingeschränkter Instanzgruppe (RIG) erstellen
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Erstellen eines SageMaker HyperPod EKS-Clusters mit RIG im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-cluster.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-cluster.html).
# Zugang und Einrichtung von Nova Forge für SageMaker KI HyperPod
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Zugriff auf Nova Forge und Einrichtung für SageMaker KI HyperPod im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-forge-hp-access.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-forge-hp-access.html).
# Schulung für Amazon Nova-Modelle
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Training für Amazon Nova-Modelle im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-training.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-training.html).
# Feinabstimmung von Amazon Nova-Modellen bei Amazon SageMaker HyperPod
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Feinabstimmung von Amazon Nova-Modellen bei Amazon SageMaker HyperPod im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-fine-tune.html).
# Bewerten Ihres trainierten Modells
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Evaluierung Ihres trainierten Modells im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-evaluate.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-evaluate.html).
# Iteratives Training
Iteratives Training ermöglicht es Ihnen, die Modellleistung durch mehrere Trainingszyklen zu verbessern. Dabei bauen Sie auf früheren Prüfpunkten auf, um Fehlerquellen systematisch zu beheben und sich an sich ändernde Anforderungen anzupassen.
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Iterative Training im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-iterative-training.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-iterative-training.html).
# Amazon-Bedrock-Inferenz
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Amazon Bedrock Inference im [Amazon Nova 1.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-bedrock-inference.html) oder im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-bedrock-inference.html).
# Einschränkungen bei der Anpassung von Amazon Nova-Modellen
Dieses Thema wurde verschoben. Aktuelle Informationen finden Sie unter Einschränkungen beim Anpassen von Amazon Nova-Modellen im [Amazon Nova 2.0-Benutzerhandbuch](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-limitations.html).
# Öffnen Sie die Anpassung des Gewichtsmodells
In diesem Abschnitt erfahren Sie, wie Sie mit der Anpassung von Modellen mit offenem Gewicht beginnen können.
**Topics**
+ [Voraussetzungen](model-customize-open-weight-prereq.md)
+ [Elemente für die Modellanpassung in der Benutzeroberfläche erstellen](model-customize-open-weight-create-assets-ui.md)
+ [Einreichung von Aufträgen zur Anpassung von KI-Modellen](model-customize-open-weight-job.md)
+ [Einreichung von Aufträgen zur Modellbewertung](model-customize-open-weight-evaluation.md)
+ [Modellbereitstellung](model-customize-open-weight-deployment.md)
+ [Beispieldatensätze und Evaluatoren](model-customize-open-weight-samples.md)
# Voraussetzungen
Stellen Sie vor Beginn sicher, dass die folgenden Voraussetzungen erfüllt sind:
+ Integrieren Sie eine SageMaker KI-Domain mit Studio-Zugriff. Wenn Sie nicht berechtigt sind, Studio als Standardkonfiguration für Ihre Domain festzulegen, wenden Sie sich an Ihren Administrator. Weitere Informationen finden Sie unter [Amazon SageMaker AI-Domainübersicht](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html).
+ Aktualisieren Sie die, AWS CLI indem Sie den Schritten unter [Installation der aktuellen AWS CLI Version](https://docs.aws.amazon.com/cli/latest/userguide/install-cliv1.html#install-tool-bundled) folgen.
+ Führen Sie `aws configure` von Ihrem lokalen Rechner aus und geben Sie Ihre AWS -Anmeldedaten ein. Informationen zu AWS Anmeldeinformationen finden Sie unter [AWS Anmeldeinformationen verstehen und abrufen](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds.html).
## Erforderliche IAM-Berechtigungen
SageMaker Die Anpassung des KI-Modells erfordert das Hinzufügen entsprechender Berechtigungen für die Ausführung Ihrer SageMaker AI-Domain. Zu diesem Zweck können Sie eine Inline-IAM-Berechtigungsrichtlinie erstellen und diese an die IAM-Rolle anhängen. Informationen zum Hinzufügen von Richtlinien finden Sie unter [Hinzufügen und Entfernen von IAM-Identitätsberechtigungen](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) im *AWS Identity and Access Management-Benutzerhandbuch*.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AllowNonAdminStudioActions",
"Effect": "Allow",
"Action": [
"sagemaker:CreatePresignedDomainUrl",
"sagemaker:DescribeDomain",
"sagemaker:DescribeUserProfile",
"sagemaker:DescribeSpace",
"sagemaker:ListSpaces",
"sagemaker:DescribeApp",
"sagemaker:ListApps"
],
"Resource": [
"arn:aws:sagemaker:*:*:domain/*",
"arn:aws:sagemaker:*:*:user-profile/*",
"arn:aws:sagemaker:*:*:app/*",
"arn:aws:sagemaker:*:*:space/*"
]
},
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "SageMakerPublicHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "SageMakerHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubs",
"sagemaker:ListHubContents",
"sagemaker:DescribeHubContent",
"sagemaker:DeleteHubContent",
"sagemaker:ListHubContentVersions",
"sagemaker:Search"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "JumpStartAccess",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "ListMLFlowOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListMlflowApps",
"sagemaker:ListMlflowTrackingServers"
],
"Resource": [
"*"
]
},
{
"Sid": "MLFlowAccess",
"Effect": "Allow",
"Action": [
"sagemaker:UpdateMlflowApp",
"sagemaker:DescribeMlflowApp",
"sagemaker:CreatePresignedMlflowAppUrl",
"sagemaker:CallMlflowAppApi",
"sagemaker-mlflow:*"
],
"Resource": [
"arn:aws:sagemaker:*:*:mlflow-app/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BYODataSetS3Access",
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*"
]
},
{
"Sid": "AllowHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ImportHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "sagemaker.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForAWSLambda",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "lambda.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "bedrock.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TrainingJobRun",
"Effect": "Allow",
"Action": [
"sagemaker:CreateTrainingJob",
"sagemaker:DescribeTrainingJob",
"sagemaker:ListTrainingJobs"
],
"Resource": [
"arn:aws:sagemaker:*:*:training-job/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ModelPackageAccess",
"Effect": "Allow",
"Action": [
"sagemaker:CreateModelPackage",
"sagemaker:DescribeModelPackage",
"sagemaker:ListModelPackages",
"sagemaker:CreateModelPackageGroup",
"sagemaker:DescribeModelPackageGroup",
"sagemaker:ListModelPackageGroups",
"sagemaker:CreateModel"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TagsPermission",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*",
"arn:aws:sagemaker:*:*:training-job/*",
"arn:aws:sagemaker:*:*:model/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:action/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LogAccess",
"Effect": "Allow",
"Action": [
"logs:DescribeLogGroups",
"logs:DescribeLogStreams",
"logs:GetLogEvents"
],
"Resource": [
"arn:aws:logs:*:*:log-group*",
"arn:aws:logs:*:*:log-group:/aws/sagemaker/TrainingJobs:log-stream:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"arn:aws:bedrock:*:*:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
},
{
"Sid": "SageMakerPipelinesAndLineage",
"Effect": "Allow",
"Action": [
"sagemaker:ListActions",
"sagemaker:ListArtifacts",
"sagemaker:QueryLineage",
"sagemaker:ListAssociations",
"sagemaker:AddAssociation",
"sagemaker:DescribeAction",
"sagemaker:AddAssociation",
"sagemaker:CreateAction",
"sagemaker:CreateContext",
"sagemaker:DescribeTrialComponent"
],
"Resource": [
"arn:aws:sagemaker:*:*:artifact/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:experiment-trial-component/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ListOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListInferenceComponents",
"sagemaker:ListWorkforces"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerInference",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeInferenceComponent",
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:ListEndpoints"
],
"Resource": [
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerPipelines",
"Effect": "Allow",
"Action": [
"sagemaker:DescribePipelineExecution",
"sagemaker:ListPipelineExecutions",
"sagemaker:ListPipelineExecutionSteps",
"sagemaker:CreatePipeline",
"sagemaker:UpdatePipeline",
"sagemaker:StartPipelineExecution"
],
"Resource": [
"arn:aws:sagemaker:*:*:pipeline/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
Wenn Sie das [AmazonSageMakerFullAccessPolicy](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerFullAccess.html)Ihrer Ausführungsrolle zugewiesen haben, können Sie diese reduzierte Richtlinie hinzufügen:
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "S3Access",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*",
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "PassRoleForSageMakerAndLambdaAndBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"lambda.amazonaws.com",
"bedrock.amazonaws.com"
],
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
}
]
}
```
Sie müssen dann auf **Vertrauensrichtlinie bearbeiten** klicken und diese durch die folgende Richtlinie ersetzen. Klicken Sie dann auf **Richtlinie aktualisieren**.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
# Elemente für die Modellanpassung in der Benutzeroberfläche erstellen
Sie können die Datensatz- und Evaluator-Assets, die Sie für die Modellanpassung verwenden können, in der Benutzeroberfläche erstellen und verwalten.
## Objekte
Wählen Sie im linken Bereich und in der Amazon SageMaker Studio-Benutzeroberfläche **Assets** aus und wählen Sie dann **Datasets** aus.
![\[Ein Bild, das den Zugriff auf die Modellanpassung enthält.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-16.png)
Wählen Sie **Datensatz hochladen**, um den Datensatz hinzuzufügen, den Sie in Ihren Modelanpassungsjobs verwenden werden. Wenn Sie das **erforderliche Dateneingabeformat** auswählen, können Sie auf eine Referenz des zu verwendenden Datensatzformats zugreifen.
![\[Ein Bild, das den Zugriff auf die Modellanpassung enthält.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-15.png)
## Auswertungsprogramme
Sie können auch **Prämienfunktionen und **Prämienaufforderungen**** für Ihre Reinforcement-Learning-Anpassungsaufträge hinzufügen.
![\[Ein Bild, das den Zugriff auf die Modellanpassung zeigt.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-14.png)
Die Benutzeroberfläche bietet auch Hinweise zum Format, das für die Belohnungsfunktion oder die Prämienaufforderung erforderlich ist.
![\[Ein Bild, das den Zugriff auf die Modellanpassung enthält.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-13.png)
## Ressourcen für die Modellanpassung mithilfe des AWS SDK
Sie können auch das SageMaker AI Python SDK verwenden, um Assets zu erstellen. Sehen Sie sich unten einen Beispielcodeausschnitt an:
```
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION, REWARD_PROMPT
from sagemaker.ai_registry.dataset import DataSet, CustomizationTechnique
from sagemaker.ai_registry.evaluator import Evaluator
# Creating a dataset example
dataset = DataSet.create(
name="sdkv3-gen-ds2",
source="s3://sample-test-bucket/datasets/training-data/jamjee-sft-ds1.jsonl", # or use local filepath as source.
customization_technique=CustomizationTechnique.SFT
)
# Refreshes status from hub
dataset.refresh()
pprint(dataset.__dict__)
# Creating an evaluator. Method : Lambda
evaluator = Evaluator.create(
name = "sdk-new-rf11",
source="arn:aws:lambda:us-west-2:<>:function:8",
type=REWARD_FUNCTION
)
# Creating an evaluator. Method : Bring your own code
evaluator = Evaluator.create(
name = "eval-lambda-test",
source="/path_to_local/eval_lambda_1.py",
type = REWARD_FUNCTION
)
# Optional wait, by default we have wait = True during create call.
evaluator.wait()
evaluator.refresh()
pprint(evaluator)
```
# Einreichung von Aufträgen zur Anpassung von KI-Modellen
Auf die Funktion zur Anpassung von SageMaker KI-Modellen kann über die Modellseite von Amazon SageMaker Studio im linken Bereich zugegriffen werden. Sie finden auch die Seite Assets, auf der Sie Ihre Datensätze und Evaluatoren zur Modellanpassung erstellen und verwalten können.
![\[Ein Bild, das den Zugriff auf die Modellanpassung enthält.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-12.png)
Um mit der Einreichung eines Auftrags zur Modellanpassung zu beginnen, wählen Sie die Option Modelle aus, um auf die Registerkarte Jumpstart-Basismodelle zuzugreifen:
![\[Ein Bild, das zeigt, wie das Basismodell ausgewählt wird.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-11.png)
Sie können direkt auf der Modellkarte auf Modell anpassen klicken oder Sie können in Meta nach einem beliebigen Modell suchen, das Sie anpassen möchten.
![\[Ein Bild mit der Modellkarte und Informationen zur Auswahl des Modells, das angepasst werden soll.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-10.png)
Wenn Sie auf die Modellkarte klicken, können Sie auf die Seite mit den Modelldetails zugreifen und den Anpassungsjob starten, indem Sie auf Modell anpassen klicken und dann Mit UI anpassen auswählen, um mit der Konfiguration Ihres RLVR-Jobs zu beginnen.
![\[Ein Bild, das zeigt, wie der Anpassungsjob gestartet wird.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-9.png)
Anschließend können Sie den Namen Ihres benutzerdefinierten Modells eingeben, die zu verwendende Methode zur Modellanpassung auswählen und Ihre Job-Hyperparameter konfigurieren:
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-8.png)
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-7.png)
## Einreichung von Aufträgen zur Anpassung von KI-Modellen mithilfe des SDK
Sie können auch das SageMaker AI Python SDK verwenden, um einen Job zur Modellanpassung einzureichen:
```
# Submit a DPO model customization job
from sagemaker.modules.train.dpo_trainer import DPOTrainer
from sagemaker.modules.train.common import TrainingType
trainer = DPOTrainer(
model=BASE_MODEL,
training_type=TrainingType.LORA,
model_package_group_name=MODEL_PACKAGE_GROUP_NAME,
training_dataset=TRAINING_DATASET,
s3_output_path=S3_OUTPUT_PATH,
sagemaker_session=sagemaker_session,
role=ROLE_ARN
)
```
## Überwachung Ihres Anpassungsauftrags
Unmittelbar nach dem Absenden Ihres Jobs werden Sie zu Ihrer Jobseite für die Schulung zur Modellanpassung weitergeleitet.
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-6.png)
Sobald der Job abgeschlossen ist, können Sie zu Ihrer Seite mit den Details zu Ihrem benutzerdefinierten Modell wechseln, indem Sie in der oberen rechten Ecke auf die Schaltfläche Gehe zu **benutzerdefiniertem Modell** klicken.
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-5.png)
Auf der Seite mit den Details zum benutzerdefinierten Modell können Sie wie folgt weiter mit Ihrem benutzerdefinierten Modell arbeiten:
1. Überprüfen von Informationen zur Leistung, zum Speicherort der generierten Artefakte, zu den Hyperparametern der Trainingskonfiguration und zu den Trainingsprotokollen.
1. Starten Sie einen Evaluierungsjob mit einem anderen Datensatz (Fortsetzung der Anpassung).
1. Stellen Sie das Modell mithilfe von SageMaker AI Inference-Endpunkten oder Amazon Bedrock Custom Model Import bereit.
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-4.png)
# Einreichung von Aufträgen zur Modellbewertung
In diesem Abschnitt wird die Evaluierung benutzerdefinierter Modelle mit offenem Gewicht beschrieben. Hier erhalten Sie einen Überblick über den Prozess zur Einreichung von Bewertungsaufträgen. Zusätzliche Ressourcen stehen für fortgeschrittenere Anwendungsfälle zur Einreichung von Bewertungsaufträgen zur Verfügung.
**Topics**
+ [Erste Schritte](model-customize-evaluation-getting-started.md)
+ [Bewertungsarten und Einreichung von Job](model-customize-evaluation-types.md)
+ [Formate für Bewertungsmetriken](model-customize-evaluation-metrics-formats.md)
+ [Unterstützte Datensatzformate für Bring-Your-Own-Dataset (BYOD-) Aufgaben](model-customize-evaluation-dataset-formats.md)
+ [Evaluieren Sie mit voreingestellten und benutzerdefinierten Punktezählern](model-customize-evaluation-preset-custom-scorers.md)
# Erste Schritte
## Reichen Sie einen Bewertungsjob über SageMaker Studio ein
### Schritt 1: Navigieren Sie auf Ihrer Modellkarte zur Bewertung
Nachdem Sie Ihr Modell angepasst haben, navigieren Sie von Ihrer Modellkarte aus zur Evaluierungsseite.
Informationen zum Training mit maßgeschneiderten Modellen mit offenem Gewicht finden Sie unter: [https://docs.aws.amazon.com/sagemaker/latest/dg/model.html customize-open-weight-job](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)
SageMaker visualisiert Ihr individuelles Modell auf der Registerkarte Meine Modelle:
![\[Seite mit der Karte registrierter Modelle\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-registered-model-card.png)
Wählen Sie „Aktuelle Version anzeigen“ und anschließend „Evaluieren“:
![\[Seite zur Modellanpassung\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)
### Schritt 2: Reichen Sie Ihren Bewertungsjob ein
Wählen Sie die Schaltfläche „Senden“ und reichen Sie Ihren Bewertungsjob ein. Dadurch wird ein minimaler MMLU-Benchmark-Job eingereicht.
Informationen zu den unterstützten Typen von Bewertungsaufträgen finden Sie unter. [Bewertungsarten und Einreichung von Job](model-customize-evaluation-types.md)
![\[Seite zur Einreichung von Bewertungsaufträgen\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)
### Schritt 3: Verfolgen Sie den Fortschritt Ihres Bewertungsauftrags
Der Fortschritt Ihres Bewertungsauftrags wird auf der Registerkarte Bewertungsschritte nachverfolgt:
![\[Der Fortschritt Ihres Bewertungsauftrags\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)
### Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Bewertungsjobs an
Die Ergebnisse Ihrer Bewertungsaufgabe werden auf der Registerkarte Bewertungsergebnisse visualisiert:
![\[Ihre Bewertungs-Job-Metriken\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-benchmark-results.png)
### Schritt 5: Sehen Sie sich Ihre abgeschlossenen Bewertungen an
Ihr abgeschlossener Bewertungsauftrag wird unter Bewertungen Ihrer Modellkarte angezeigt:
![\[Ihre abgeschlossenen Bewertungsaufträge\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)
## Reichen Sie Ihren Evaluierungsjob über das SageMaker Python SDK ein
### Schritt 1: Erstellen Sie Ihr BenchMarkEvaluator
Übergeben Sie Ihr registriertes trainiertes Modell, den AWS S3-Ausgabespeicherort und den MLFlow Ressourcen-ARN an `BenchMarkEvaluator` und initialisieren Sie es dann.
```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
```
### Schritt 2: Reichen Sie Ihren Bewertungsjob ein
Rufen Sie die `evaluate()` Methode auf, um den Bewertungsjob einzureichen.
```
execution = evaluator.evaluate()
```
### Schritt 3: Verfolgen Sie den Fortschritt Ihres Bewertungsauftrags
Rufen Sie die `wait()` Ausführungsmethode auf, um eine Live-Aktualisierung des Fortschritts der Evaluierungsaufgabe zu erhalten.
```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```
### Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Bewertungsjobs an
Rufen Sie die `show_results()` Methode auf, um die Ergebnisse Ihrer Bewertungsaufgabe anzuzeigen.
```
execution.show_results()
```
# Bewertungsarten und Einreichung von Job
## Benchmarking mit standardisierten Datensätzen
Verwenden Sie den Typ Benchmark-Evaluierung, um die Qualität Ihres Modells anhand standardisierter Benchmark-Datensätze, einschließlich beliebter Datensätze wie MMLU und BBH, zu bewerten.
| Benchmark | Benutzerdefinierter Datensatz wird unterstützt | Modalitäten | Description | Kennzahlen | Strategie | Unteraufgabe verfügbar |
| --- | --- | --- | --- | --- | --- | --- |
| mmlu | Nein | Text | Sprachverständnis für mehrere Aufgaben – testet Wissen in 57 Themen. | Richtigkeit | zs\$1cot | Ja |
| mmlu\$1pro | Nein | Text | MMLU – professioneller Bereich – konzentriert sich auf Fachbereiche wie Recht, Medizin, Rechnungswesen und Ingenieurwesen. | Richtigkeit | zs\$1cot | Nein |
| bbh | Nein | Text | Fortschrittliche Argumentationsaufgaben – eine Sammlung herausfordernder Probleme, die kognitive Fähigkeiten und Fähigkeiten zur Problemlösung auf höherem Niveau auf die Probe stellen. | Richtigkeit | fs\$1cot | Ja |
| gpqa | Nein | Text | Beantwortung allgemeiner Fragen zur Physik – beurteilt das Verständnis physikalischer Konzepte und die damit verbundenen Fähigkeiten zur Problemlösung. | Richtigkeit | zs\$1cot | Nein |
| math | Nein | Text | Mathematische Problemlösung – bewertet mathematische Überlegungen in verschiedenen Themenbereichen wie Algebra, Infinitesimalrechnung und Textaufgaben. | exact\$1match | zs\$1cot | Ja |
| strong\$1reject | Nein | Text | Aufgabe zur Qualitätskontrolle — Testet die Fähigkeit des Modells, unangemessene, schädliche oder falsche Inhalte zu erkennen und abzulehnen. | deflection | zs | Ja |
| ifeval | Nein | Text | Bewertung der Anweisungsbefolgung – Prüft, wie genau ein Modell die Anweisungen befolgt und die Aufgaben gemäß den Spezifikationen ausführt. | Richtigkeit | zs | Nein |
Weitere Informationen zu BYOD-Formaten finden Sie unter. [Unterstützte Datensatzformate für Bring-Your-Own-Dataset (BYOD-) Aufgaben](model-customize-evaluation-dataset-formats.md)
### Verfügbare Unteraufgaben
Im Folgenden sind verfügbare Unteraufgaben für die Modellevaluierung in mehreren Bereichen aufgeführt, darunter MMLU (Massive Multitask Language Understanding), BBH (Big Bench Hard) und MATH. StrongReject Diese Unteraufgaben ermöglichen es Ihnen, die Leistung Ihres Modells in Bezug auf bestimmte Fähigkeiten und Wissensbereiche zu bewerten.
**MMLU-Unteraufgaben**
```
MMLU_SUBTASKS = [
"abstract_algebra",
"anatomy",
"astronomy",
"business_ethics",
"clinical_knowledge",
"college_biology",
"college_chemistry",
"college_computer_science",
"college_mathematics",
"college_medicine",
"college_physics",
"computer_security",
"conceptual_physics",
"econometrics",
"electrical_engineering",
"elementary_mathematics",
"formal_logic",
"global_facts",
"high_school_biology",
"high_school_chemistry",
"high_school_computer_science",
"high_school_european_history",
"high_school_geography",
"high_school_government_and_politics",
"high_school_macroeconomics",
"high_school_mathematics",
"high_school_microeconomics",
"high_school_physics",
"high_school_psychology",
"high_school_statistics",
"high_school_us_history",
"high_school_world_history",
"human_aging",
"human_sexuality",
"international_law",
"jurisprudence",
"logical_fallacies",
"machine_learning",
"management",
"marketing",
"medical_genetics",
"miscellaneous",
"moral_disputes",
"moral_scenarios",
"nutrition",
"philosophy",
"prehistory",
"professional_accounting",
"professional_law",
"professional_medicine",
"professional_psychology",
"public_relations",
"security_studies",
"sociology",
"us_foreign_policy",
"virology",
"world_religions"
]
```
**BBH-Unteraufgaben**
```
BBH_SUBTASKS = [
"boolean_expressions",
"causal_judgement",
"date_understanding",
"disambiguation_qa",
"dyck_languages",
"formal_fallacies",
"geometric_shapes",
"hyperbaton",
"logical_deduction_five_objects",
"logical_deduction_seven_objects",
"logical_deduction_three_objects",
"movie_recommendation",
"multistep_arithmetic_two",
"navigate",
"object_counting",
"penguins_in_a_table",
"reasoning_about_colored_objects",
"ruin_names",
"salient_translation_error_detection",
"snarks",
"sports_understanding",
"temporal_sequences",
"tracking_shuffled_objects_five_objects",
"tracking_shuffled_objects_seven_objects",
"tracking_shuffled_objects_three_objects",
"web_of_lies",
"word_sorting"
]
```
**Mathematische Unteraufgaben**
```
MATH_SUBTASKS = [
"algebra",
"counting_and_probability",
"geometry",
"intermediate_algebra",
"number_theory",
"prealgebra",
"precalculus"
]
```
**StrongReject Unteraufgaben**
```
STRONG_REJECT_SUBTASKS = [
"gcg_transfer_harmbench",
"gcg_transfer_universal_attacks",
"combination_3",
"combination_2",
"few_shot_json",
"dev_mode_v2",
"dev_mode_with_rant",
"wikipedia_with_title",
"distractors",
"wikipedia",
"style_injection_json",
"style_injection_short",
"refusal_suppression",
"prefix_injection",
"distractors_negated",
"poems",
"base64",
"base64_raw", "
base64_input_only",
"base64_output_only",
"evil_confidant",
"aim",
"rot_13",
"disemvowel",
"auto_obfuscation",
"auto_payload_splitting",
"pair",
"pap_authority_endorsement",
"pap_evidence_based_persuasion",
"pap_expert_endorsement",
"pap_logical_appeal",
"pap_misrepresentation"
]
```
### Reichen Sie Ihren Benchmark-Job ein
------
#### [ SageMaker Studio ]
![\[Eine minimale Konfiguration für das Benchmarking über Studio SageMaker\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import get_benchmarks
from sagemaker.train.evaluate import BenchMarkEvaluator
Benchmark = get_benchmarks()
# Create evaluator with MMLU benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Weitere Informationen zur Einreichung von Bewertungsaufträgen über das SageMaker Python-SDK finden Sie unter: [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
## Evaluierung mit umfangreichem Sprachmodell als Richter (LLMAJ)
Verwenden Sie die Evaluierung LLM-as-a-judge (LLMAJ), um ein anderes Frontier-Modell zu nutzen, um die Antworten Ihres Zielmodells zu bewerten. Sie können AWS Bedrock-Modelle als Richter verwenden, indem Sie die `create_evaluation_job` API aufrufen, um den Bewertungsjob zu starten.
[Weitere Informationen zu den unterstützten Richtermodellen finden Sie unter: -supported.html https://docs.aws.amazon.com/bedrock/ latest/userguide/models](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html)
Sie können zwei verschiedene metrische Formate verwenden, um die Bewertung zu definieren:
+ **Integrierte Metriken:** Nutzen Sie die integrierten Metriken von AWS Bedrock, um die Qualität der Inferenzantworten Ihres Modells zu analysieren. [Weitere Informationen finden Sie unter: .html https://docs.aws.amazon.com/bedrock/ latest/userguide/model evaluation-type-judge-prompt](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-type-judge-prompt.html)
+ **Benutzerdefinierte Metriken:** Definieren Sie Ihre eigenen benutzerdefinierten Metriken im benutzerdefinierten Metrikformat von Bedrock Evaluation, um die Qualität der Inferenzantworten Ihres Modells anhand Ihrer eigenen Anweisungen zu analysieren. [Weitere Informationen finden Sie unter: https://docs.aws.amazon.com/bedrock/ latest/userguide/model - -formats.html evaluation-custom-metrics-prompt](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
### Reichen Sie einen LLMAJ-Job mit integrierten Metriken ein
------
#### [ SageMaker Studio ]
![\[Eine Minimalkonfiguration für LLMAJ-Benchmarking über Studio SageMaker\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/llmaj-as-judge-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import LLMAsJudgeEvaluator
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
builtin_metrics=["", ""],
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Weitere Informationen zur Einreichung von Bewertungsaufträgen über das SageMaker Python-SDK finden Sie unter: [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
### Reichen Sie einen LLMAJ-Job mit benutzerdefinierten Metriken ein
Definieren Sie Ihre benutzerdefinierte (n) Metrik (en):
```
{
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
}
```
Weitere Informationen finden Sie unter: [https://docs.aws.amazon.com/bedrock/latest/userguide/model- evaluation-custom-metrics-prompt -formats.html](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
------
#### [ SageMaker Studio ]
![\[Laden Sie die benutzerdefinierte Metrik über Benutzerdefinierte Metriken > Benutzerdefinierte Metriken hinzufügen hoch\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/custom-llmaj-metrics-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
custom_metrics=custom_metric_dict = {
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
},
s3_output_path="s3:////",
evaluate_base_model=False
)
```
------
## Benutzerdefinierte Punktezähler
Definieren Sie Ihre eigene benutzerdefinierte Scorer-Funktion, um einen Bewertungsjob zu starten. Das System bietet zwei integrierte Punktezähler: Prime Math und Prime Code. Sie können auch Ihre eigene Scorer-Funktion mitbringen. Sie können Ihren Scorer-Funktionscode direkt kopieren oder Ihre eigene Lambda-Funktionsdefinition mit dem zugehörigen ARN mitbringen. Standardmäßig liefern beide Scorer-Typen Bewertungsergebnisse, die Standardmetriken wie F1-Score, ROUGE und BLEU enthalten.
Weitere Informationen zu integrierten und benutzerdefinierten Punktezählern und ihren jeweiligen Anforderungen/Verträgen finden Sie unter. [Evaluieren Sie mit voreingestellten und benutzerdefinierten Punktezählern](model-customize-evaluation-preset-custom-scorers.md)
### Registrieren Sie Ihren Datensatz
Bringen Sie Ihren eigenen Datensatz für den benutzerdefinierten Punktezähler mit, indem Sie ihn als SageMaker Hub-Inhaltsdatensatz registrieren.
------
#### [ SageMaker Studio ]
Laden Sie in Studio Ihren Datensatz über die spezielle Datensatzseite hoch.
![\[Registrierter Bewertungsdatensatz in Studio SageMaker\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/dataset-registration-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
Laden Sie im SageMaker Python-SDK Ihren Datensatz über die spezielle Datensatzseite hoch.
```
from sagemaker.ai_registry.dataset import DataSet
dataset = DataSet.create(
name="your-bring-your-own-dataset",
source="s3:////.jsonl"
)
dataset.refresh()
```
------
### Reichen Sie einen integrierten Scorer-Job ein
------
#### [ SageMaker Studio ]
![\[Wählen Sie zwischen Codeausführungen oder mathematischen Antworten für die integrierte benutzerdefinierte Bewertung\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/builtin-scorer-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import CustomScorerEvaluator
from sagemaker.train.evaluate import get_builtin_metrics
BuiltInMetric = get_builtin_metrics()
evaluator_builtin = CustomScorerEvaluator(
evaluator=BuiltInMetric.PRIME_MATH,
dataset="arn:aws:sagemaker:::hub-content//DataSet/your-bring-your-own-dataset/",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Wählen Sie „Integrierte Bewertung“ `BuiltInMetric.PRIME_MATH` oder „Integrierte `BuiltInMetric.PRIME_CODE` Bewertung“.
------
### Reichen Sie einen benutzerdefinierten Scorer-Job ein
Definieren Sie eine benutzerdefinierte Belohnungsfunktion. Weitere Informationen finden Sie unter [Benutzerdefinierte Punktezähler (Bringen Sie Ihre eigenen Metriken mit)](model-customize-evaluation-preset-custom-scorers.md#model-customize-evaluation-custom-scorers-byom).
**Registrieren Sie die benutzerdefinierte Belohnungsfunktion**
------
#### [ SageMaker Studio ]
![\[Navigieren Sie zu SageMaker Studio > Assets > Evaluator > Evaluator erstellen > Belohnungsfunktion erstellen\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/custom-scorer-submission-sagemaker-studio.png)
![\[Reichen Sie den Bewertungsjob „Benutzerdefinierter Punktezähler“ ein und verweisen Sie dabei auf die registrierte voreingestellte Prämienfunktion unter Benutzerdefinierter Punktezähler > Benutzerdefinierte Metriken\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/custom-scorer-benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.ai_registry.evaluator import Evaluator
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION
evaluator = Evaluator.create(
name = "your-reward-function-name",
source="/path_to_local/custom_lambda_function.py",
type = REWARD_FUNCTION
)
```
```
evaluator = CustomScorerEvaluator(
evaluator=evaluator,
dataset="s3:////.jsonl",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
# Formate für Bewertungsmetriken
Bewertung der Qualität Ihres Modells anhand dieser metrischen Formate:
+ Zusammenfassung der Modellbewertung
+ MLFlow
+ TensorBoard
## Zusammenfassung der Modellevaluierung
Wenn Sie Ihren Bewertungsauftrag einreichen, geben Sie einen AWS S3-Ausgabeort an. SageMaker lädt die JSON-Datei mit der Bewertungszusammenfassung automatisch an den Speicherort hoch. Der S3-Pfad für die Benchmark-Zusammenfassung lautet wie folgt:
```
s3:////output/output//eval_results/
```
**Übergeben Sie den AWS S3-Standort**
------
#### [ SageMaker Studio ]
![\[Übergeben Sie den Speicherort des Ausgabeartefakts (AWS S3-URI)\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
Lesen Sie es direkt als `.json` vom AWS S3-Standort aus oder visualisieren Sie es automatisch in der Benutzeroberfläche:
```
{
"results": {
"custom|gen_qa_gen_qa|0": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
},
"all": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
}
}
}
```
![\[Beispiele für Leistungskennzahlen für einen benutzerdefinierten Gen-QA-Benchmark, visualisiert in Studio SageMaker\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/gen-qa-metrics-visualization-sagemaker-studio.png)
## MLFlow Protokollierung
**Geben Sie Ihren SageMaker MLFlow Ressourcen-ARN ARN**
SageMaker Studio verwendet die MLFlow Standard-App, die auf jeder Studio-Domäne bereitgestellt wird, wenn Sie die Funktion zur Modellanpassung zum ersten Mal verwenden. SageMaker Studio verwendet bei der Einreichung von Bewertungsaufträgen den mit der MLflow App verknüpften ARN.
Sie können Ihren Bewertungsauftrag auch einreichen und explizit einen MLFlow Ressourcen-ARN angeben, um Metriken server/app zur Echtzeitanalyse an das zugehörige Tracking zu streamen.
**SageMaker Python-SDK**
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Visualisierung von Metriken auf Modell- und Systemebene:
![\[Beispiel für Fehler und Genauigkeit auf Modellebene für MMLU-Benchmarking-Aufgaben\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/model-metrics-mlflow.png)
![\[Beispiel für integrierte Metriken für die LLMAJ-Benchmarking-Aufgabe\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/llmaj-metrics-mlflow.png)
![\[Beispiel für Metriken auf Systemebene für die MMLU-Benchmarking-Aufgabe\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/system-metrics-mlflow.png)
## TensorBoard
Reichen Sie Ihren Bewertungsauftrag mit einem AWS S3-Ausgabespeicherort ein. SageMaker lädt automatisch eine TensorBoard Datei an den Speicherort hoch.
SageMaker lädt die TensorBoard Datei am folgenden Speicherort auf AWS S3 hoch:
```
s3:////output/output//tensorboard_results/eval/
```
**Übergeben Sie den AWS S3-Standort wie folgt**
------
#### [ SageMaker Studio ]
![\[Übergeben Sie den Speicherort des Ausgabeartefakts (AWS S3-URI)\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
**Beispiel für Metriken auf Modellebene**
![\[SageMaker TensorBoard Anzeige der Ergebnisse eines Benchmarking-Jobs\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/metrics-in-tensorboard.png)
# Unterstützte Datensatzformate für Bring-Your-Own-Dataset (BYOD-) Aufgaben
Für die Typen „Benutzerdefinierter Punktezähler“ und LLM-as-judge „Auswertung“ ist eine JSONL-Datei mit benutzerdefiniertem Datensatz erforderlich, die sich in S3 befindet. AWS Sie müssen die Datei als JSON Lines-Datei bereitstellen, die einem der folgenden unterstützten Formate entspricht. Die Beispiele in diesem Dokument wurden aus Gründen der Übersichtlichkeit erweitert.
Jedes Format hat seine eigenen Nuancen, aber mindestens alle erfordern eine Benutzereingabe.
**Pflichtfelder**
| Feld | Erforderlich |
| --- | --- |
| Benutzeraufforderung | Ja |
| System-Prompt | Nein |
| Grundlegende Wahrheit | Nur für Custom Scorer |
| Kategorie | Nein |
**1. OpenAI-Format**
```
{
"messages": [
{
"role": "system", # System prompt (looks for system role)
"content": "You are a helpful assistant."
},
{
"role": "user", # Query (looks for user role)
"content": "Hello!"
},
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "Hello to you!"
}
]
}
```
**2. SageMaker **Bewertung
```
{
"system":"You are an English major with top marks in class who likes to give minimal word responses: ",
"query":"What is the symbol that ends the sentence as a question",
"response":"?", # Ground truth
"category": "Grammar"
}
```
**3. HuggingFace Sofortiger Abschluss**
Sowohl Standard- als auch Konversationsformate werden unterstützt.
```
# Standard
{
"prompt" : "What is the symbol that ends the sentence as a question", # Query
"completion" : "?" # Ground truth
}
# Conversational
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What is the symbol that ends the sentence as a question"
}
],
"completion": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "?"
}
]
}
```
**4. HuggingFace Präferenz**
Support sowohl für das Standardformat (Zeichenfolge) als auch für das Konversationsformat (Nachrichtenarray).
```
# Standard: {"prompt": "text", "chosen": "text", "rejected": "text"}
{
"prompt" : "The sky is", # Query
"chosen" : "blue", # Ground truth
"rejected" : "green"
}
# Conversational:
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What color is the sky?"
}
],
"chosen": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "It is blue."
}
],
"rejected": [
{
"role": "assistant",
"content": "It is green."
}
]
}
```
**5. Verl-Format**
Das Verl-Format (sowohl aktuelle als auch ältere Formate) wird für Reinforcement-Learning-Anwendungsfälle unterstützt. Verl-Dokumente als Referenz: [https://verl.readthedocs.io/en/latest/preparation/prepare\$1data.html](https://verl.readthedocs.io/en/latest/preparation/prepare_data.html)
Benutzer des VERL-Formats geben in der Regel keine Ground-Truth-Antwort. Wenn Sie trotzdem eine angeben möchten, verwenden Sie eines der Felder `extra_info.answer` oder`reward_model.ground_truth`; `extra_info` hat Vorrang.
SageMaker behält die folgenden VERL-spezifischen Felder als Metadaten bei, sofern vorhanden:
+ `id`
+ `data_source`
+ `ability`
+ `reward_model`
+ `extra_info`
+ `attributes`
+ `difficulty`
```
# Newest VERL format where `prompt` is an array of messages.
{
"data_source": "openai/gsm8k",
"prompt": [
{
"content": "You are a helpful math tutor who explains solutions to questions step-by-step.",
"role": "system"
},
{
"content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"role": "user"
}
],
"ability": "math",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
},
"reward_model": {
"ground_truth": "72" # Ignored in favor of extra_info.answer
}
}
# Legacy VERL format where `prompt` is a string. Also supported.
{
"data_source": "openai/gsm8k",
"prompt": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
}
}
```
# Evaluieren Sie mit voreingestellten und benutzerdefinierten Punktezählern
Wenn Sie den Bewertungstyp Custom Scorer verwenden, unterstützt SageMaker Evaluation zwei integrierte Scorer (auch als „Belohnungsfunktionen“ bezeichnet), Prime Math und Prime Code, die aus der [Volcengine/verl RL-Trainingsbibliothek](https://github.com/volcengine/verl) stammen, oder Ihren eigenen benutzerdefinierten Scorer, der als Lambda-Funktion implementiert ist.
## Integrierte Punktezähler
**Erstklassige Mathematik**
Der Prime Math Scorer erwartet einen benutzerdefinierten JSONL-Datensatz mit Einträgen, die eine mathematische Frage als Antwort prompt/query und die richtige Antwort als Ground Truth enthalten. Bei dem Datensatz kann es sich um jedes der unter genannten unterstützten Formate handeln. [Unterstützte Datensatzformate für Bring-Your-Own-Dataset (BYOD-) Aufgaben](model-customize-evaluation-dataset-formats.md)
Beispiel für einen Datensatzeintrag (aus Gründen der Übersichtlichkeit erweitert):
```
{
"system":"You are a math expert: ",
"query":"How many vertical asymptotes does the graph of $y=\\frac{2}{x^2+x-6}$ have?",
"response":"2" # Ground truth aka correct answer
}
```
**Prime-Code**
Der Prime-Code-Scorer erwartet einen benutzerdefinierten JSONL-Datensatz mit Einträgen, die ein Codierungsproblem enthalten, und Testfällen, die im Feld angegeben sind. `metadata` Strukturieren Sie die Testfälle mit dem erwarteten Funktionsnamen für jeden Eintrag, Beispieleingaben und erwarteten Ausgaben.
Beispiel für einen Datensatzeintrag (aus Gründen der Übersichtlichkeit erweitert):
```
{
"system":"\\nWhen tackling complex reasoning tasks, you have access to the following actions. Use them as needed to progress through your thought process.\\n\\n[ASSESS]\\n\\n[ADVANCE]\\n\\n[VERIFY]\\n\\n[SIMPLIFY]\\n\\n[SYNTHESIZE]\\n\\n[PIVOT]\\n\\n[OUTPUT]\\n\\nYou should strictly follow the format below:\\n\\n[ACTION NAME]\\n\\n# Your action step 1\\n\\n# Your action step 2\\n\\n# Your action step 3\\n\\n...\\n\\nNext action: [NEXT ACTION NAME]\\n\\n",
"query":"A number N is called a factorial number if it is the factorial of a positive integer. For example, the first few factorial numbers are 1, 2, 6, 24, 120,\\nGiven a number N, the task is to return the list/vector of the factorial numbers smaller than or equal to N.\\nExample 1:\\nInput: N = 3\\nOutput: 1 2\\nExplanation: The first factorial number is \\n1 which is less than equal to N. The second \\nnumber is 2 which is less than equal to N,\\nbut the third factorial number is 6 which \\nis greater than N. So we print only 1 and 2.\\nExample 2:\\nInput: N = 6\\nOutput: 1 2 6\\nExplanation: The first three factorial \\nnumbers are less than equal to N but \\nthe fourth factorial number 24 is \\ngreater than N. So we print only first \\nthree factorial numbers.\\nYour Task: \\nYou don't need to read input or print anything. Your task is to complete the function factorialNumbers() which takes an integer N as an input parameter and return the list/vector of the factorial numbers smaller than or equal to N.\\nExpected Time Complexity: O(K), Where K is the number of factorial numbers.\\nExpected Auxiliary Space: O(1)\\nConstraints:\\n1<=N<=10^{18}\\n\\nWrite Python code to solve the problem. Present the code in \\n```python\\nYour code\\n```\\nat the end.",
"response": "", # Dummy string for ground truth. Provide a value if you want NLP metrics like ROUGE, BLEU, and F1.
### Define test cases in metadata field
"metadata": {
"fn_name": "factorialNumbers",
"inputs": ["5"],
"outputs": ["[1, 2]"]
}
}
```
## Benutzerdefinierte Punktezähler (Bringen Sie Ihre eigenen Metriken mit)
Passen Sie Ihren Arbeitsablauf zur Modellevaluierung mit einer benutzerdefinierten Nachverarbeitungslogik vollständig an, sodass Sie benutzerdefinierte Metriken berechnen können, die auf Ihre Bedürfnisse zugeschnitten sind. Sie müssen Ihren benutzerdefinierten Scorer als AWS Lambda-Funktion implementieren, die Modellantworten akzeptiert und Prämienwerte zurückgibt.
### Beispiel für eine Lambda-Eingabe-Payload
Ihr benutzerdefiniertes AWS Lambda erwartet Eingaben im OpenAI-Format. Beispiel:
```
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Amazon, I do not have a dedicated security team..."
}
],
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
```
### Beispiel für eine Payload für die Lambda-Ausgabe
Der SageMaker Evaluierungscontainer erwartet, dass Ihre Lambda-Antworten diesem Format folgen:
```
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
```
### Benutzerdefinierte Lambda-Definition
[Ein Beispiel für einen vollständig implementierten benutzerdefinierten Punktezähler mit Beispieleingabe und erwarteter Ausgabe finden Sie unter: https://docs.aws.amazon.com/sagemaker/ latest/dg/nova - .html\$1 -example implementing-reward-functions nova-reward-llm-judge](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-implementing-reward-functions.html#nova-reward-llm-judge-example)
Verwenden Sie das folgende Skelett als Ausgangspunkt für Ihre eigene Funktion.
```
def lambda_handler(event, context):
return lambda_grader(event)
def lambda_grader(samples: list[dict]) -> list[dict]:
"""
Args:
Samples: List of dictionaries in OpenAI format
Example input:
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Company, I do not have a dedicated security team..."
}
],
# This section is the same as your training dataset
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
Returns:
List of dictionaries with reward scores:
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
"""
```
### Eingabe- und Ausgabefelder
**Eingabefelder**
| Feld | Description | Weitere Hinweise |
| --- | --- | --- |
| id | Eindeutiger Bezeichner für die Probe | In der Ausgabe wiedergegeben. Zeichenkettenformat |
| messages | Chatverlauf im OpenAI-Format bestellt | Reihe von Nachrichtenobjekten |
| nachrichten [] .role | Sprecher der Nachricht | Allgemeine Werte: „Benutzer“, „Assistent“, „System“ |
| nachrichten [] .content | Textinhalt der Nachricht | Einfache Zeichenfolge |
| Metadaten | Informationen in freier Form zur Unterstützung der Benotung | Objekt; optionale Felder, die aus Trainingsdaten übernommen wurden |
**Ausgabefelder**
**Ausgabefelder**
| Feld | Description | Weitere Hinweise |
| --- | --- | --- |
| id | Derselbe Bezeichner wie das Eingabebeispiel | Muss mit der Eingabe übereinstimmen |
| aggregate\$1reward\$1score | Gesamtpunktzahl für die Stichprobe | Float (z. B. 0,0—1,0 oder aufgabendefinierter Bereich) |
| metrics\$1list | Die Werte der Komponenten, aus denen sich das Aggregat zusammensetzt | Anordnung metrischer Objekte |
### Erforderliche Berechtigungen
Stellen Sie sicher, dass die SageMaker Ausführungsrolle, die Sie für die Evaluierung verwenden, über AWS Lambda-Berechtigungen verfügt.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"lambda:InvokeFunction"
],
"Resource": "arn:aws:lambda:region:account-id:function:function-name"
}
]
}
```
Stellen Sie sicher, dass die Ausführungsrolle Ihrer AWS Lambda-Funktion über grundlegende Lambda-Ausführungsberechtigungen sowie über zusätzliche Berechtigungen verfügt, die Sie möglicherweise für alle AWS Downstream-Aufrufe benötigen.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "arn:aws:logs:*:*:*"
}
]
}
```
# Modellbereitstellung
Auf der Detailseite für benutzerdefinierte Modelle können Sie Ihr benutzerdefiniertes Modell auch entweder mithilfe von SageMaker AI Inference-Endpunkten oder Amazon Bedrock bereitstellen.
![\[Ein Bild mit einer Auswahl von Techniken zur Modellanpassung.\]](http://docs.aws.amazon.com/de_de/sagemaker/latest/dg/images/screenshot-open-model-1.png)
# Beispieldatensätze und Evaluatoren
## Überwachte Feinabstimmung (SFT)
+ Bezeichnung: TAT-QA
+ Lizenz: CC-BY-4.0
+ [Link: https://huggingface. co/datasets/next-tat/TAT-QA](https://huggingface.co/datasets/next-tat/TAT-QA)
+ Vorverarbeitung — Formatierung
**Ein Beispiel**
```
{
"prompt": "Given a table and relevant text descriptions, answer the following question.\n\nTable:\n
\n \n
\n
\n
2019
\n
2018
\n
\n
\n
\n
$'000
\n
$'000
\n
\n
\n
Revenue from external customers
\n
\n
\n
\n
\n
Australia
\n
144,621
\n
129,431
\n
\n
\n
New Zealand
\n
13,036
\n
8,912
\n
\n
\n
Total
\n
157,657
\n
138,343
\n
\n \n
\n\nParagraphs:\n 4. SEGMENT INFORMATION\n\n During the 2019 and 2018 financial years, the Group operated wholly within one business segment being the operation and management of storage centres in Australia and New Zealand.\n\n The Managing Director is the Group\u2019s chief operating decision maker and monitors the operating results on a portfolio wide basis. Monthly management reports are evaluated based upon the overall performance of NSR consistent with the presentation within the consolidated financial statements. The Group\u2019s financing (including finance costs and finance income) are managed on a Group basis and not allocated to operating segments.\n\n The operating results presented in the statement of profit or loss represent the same segment information as reported in internal management information.\n\n The revenue information above excludes interest income and is based on the location of storage centres.\n\nQuestion: How many business segments were present in 2019 and 2018?\n\nAnswer:",
"completion": "one",
"data_idx": "2951"
}
```
## Direkte Präferenzoptimierung (DPO)
+ Name: Ultrafeedback
+ Lizenz: MIT
+ Link: [https://huggingface. co/datasets/openbmb/UltraFeedback](https://huggingface.co/datasets/openbmb/UltraFeedback)
+ Vorverarbeitungsschritte: Formatierung und Subsampling.
**Eine Probe**
```
{
"source": "evol_instruct",
"prompt": "Can you write a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea? Here's some starter code to help you out:\n#include \n#include \nusing namespace std;\nint main() {\n string country;\n // prompt user for input\n cout << \"Enter the name of a country: \";\n cin >> country;\n // check if country borders the Mediterranean Sea\n // [C++ code]\n return 0;\n}",
"chosen": "Here's a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea:\n\n#include \n#include \n#include \n#include