Erstellen eines Auftrags zur Modellbewertung mit menschlichen Mitarbeitern

Um einen Amazon S3 S3-Bucket zu erstellen und die CORS-Berechtigungen anzugeben

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie im Navigationsbereich S3 in die Suchleiste oben auf der Seite ein.

3. Wählen Sie S3 unter Services aus.

4. Wählen Sie im Navigationsbereich die Option Buckets aus.

5. Wählen Sie im Abschnitt Allgemeine Buckets unter Name den Namen des S3-Buckets aus, den Sie zum Speichern Ihrer Modelleingabe und -ausgabe in der Konsole verwenden möchten. Führen Sie die folgenden Schritte aus, wenn Sie noch keinen S3-Bucket besitzen.

   1. Wählen Sie Bucket erstellen aus, um eine neue Seite „Bucket erstellen“ zu öffnen.

   2. Wählen Sie im Abschnitt Allgemeine Konfiguration unter AWSRegion die AWS Region aus, in der sich Ihr Foundation-Modell befindet.

   3. Benennen Sie Ihren S3-Bucket im Eingabefeld unter Bucket-Name.

   4. Akzeptieren Sie alle Standardoptionen.

   5. Wählen Sie Bucket erstellen aus.

   6. Wählen Sie im Abschnitt Allgemeine Buckets unter Name den Namen des S3-Buckets aus, den Sie erstellt haben.

6. Wählen Sie die Registerkarte Berechtigungen.

7. Scrollen Sie am unteren Rand des Fensters zum Abschnitt Cross-Origin Resource Sharing (CORS). Wählen Sie Bearbeiten aus.

8. Im Folgenden finden Sie die mindestens erforderliche CORS-Richtlinie, die Sie Ihrem Amazon S3 S3-Bucket hinzufügen müssen. Kopieren Sie den folgenden Text und fügen Sie ihn in das Eingabefeld ein.

   [
   {
       "AllowedHeaders": ["*"],
       "AllowedMethods": [
           "GET",
           "HEAD",
           "PUT"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
         "Access-Control-Allow-Origin"
       ],
       "MaxAgeSeconds": 3000
   }
   ]

9. Wählen Sie Änderungen speichern aus.

So fügen Sie Berechtigungen zu Ihrer IAM-Richtlinie hinzu

Möglicherweise möchten Sie die Ebene der Berechtigungen berücksichtigen, die Ihrer IAM-Rolle zugewiesen werden sollen.

Wenn Sie die vorhandenen Richtlinien an Ihre IAM-Rolle anfügen möchten, können Sie die hier aufgeführten Anweisungen überspringen und weiterhin den Anweisungen unter So fügen Sie Ihrer IAM-Rolle Berechtigungen hinzu folgen.

Mit den folgenden Anweisungen wird eine benutzerdefinierte IAM-Richtlinie erstellt, die auf diesen Service mit Mindestberechtigungen zugeschnitten ist.

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie in die Suchleiste oben auf der Seite IAM ein.

3. Wählen Sie unter Dienste die Option Identity and Access Management (IAM) aus.

4. Wählen Sie im Navigationsbereich Richtlinien aus.

5. Wählen Sie Richtlinie erstellen aus. Wählen Sie im Abschnitt Richtlinien-Editor JSON aus.

6. Stellen Sie sicher, dass die folgenden Berechtigungen im Richtlinien-Editor angezeigt werden. Sie können auch Folgendes kopieren und in den Richtlinien-Editor einfügen.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::{input_bucket}/*",
                   "arn:aws:s3:::{input_bucket}",
                   "arn:aws:s3:::{output_bucket}/*",
                   "arn:aws:s3:::{output_bucket}",
                   "arn:aws:s3:::jumpstart-cache-prod-{region}/*",
                   "arn:aws:s3:::jumpstart-cache-prod-{region}"
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:CreateEndpoint",
                   "sagemaker:DeleteEndpoint",
                   "sagemaker:CreateEndpointConfig",
                   "sagemaker:DeleteEndpointConfig"
               ],
               "Resource": [
                   "arn:aws:sagemaker:us-east-1:111122223333:endpoint/sm-margaret-*",
                   "arn:aws:sagemaker:us-east-1:111122223333:endpoint-config/sm-margaret-*"
               ],
               "Condition": {
                   "ForAnyValue:StringEquals": {
                       "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeProcessingJob",
                   "sagemaker:DescribeEndpoint",
                   "sagemaker:InvokeEndpoint"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeInferenceComponent",
                   "sagemaker:AddTags",
                   "sagemaker:CreateModel",
                   "sagemaker:DeleteModel"
               ],
               "Resource": "arn:aws:sagemaker:us-east-1:111122223333:model/*",
               "Condition": {
                   "ForAnyValue:StringEquals": {
                       "aws:TagKeys": "sagemaker-sdk:jumpstart-model-id"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:DescribeFlowDefinition",
                   "sagemaker:StartHumanLoop",
                   "sagemaker:DescribeHumanLoop"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "logs:CreateLogStream",
                   "logs:PutLogEvents",
                   "logs:CreateLogGroup",
                   "logs:DescribeLogStreams"
               ],
               "Resource": "arn:aws:logs:us-east-1:111122223333:log-group:/aws/sagemaker/ProcessingJobs:*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "cloudwatch:PutMetricData"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "ecr:GetAuthorizationToken",
                   "ecr:BatchCheckLayerAvailability",
                   "ecr:GetDownloadUrlForLayer",
                   "ecr:BatchGetImage"
               ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": [
                   "kms:DescribeKey",
                   "kms:GetPublicKey",
                   "kms:Decrypt",
                   "kms:Encrypt"
               ],
               "Resource": [
                   "arn:aws:kms:us-east-1:111122223333:key/{kms-key-id}"
               ]
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": "arn:aws:iam::111122223333:role/{this-role-created-by-customer}",
               "Condition": {
                   "StringEquals": {
                       "aws:PrincipalAccount": [
                           "111122223333"
                       ]
                   }
               }
           }
       ]
   }
   

7. Wählen Sie Weiter aus.

8. Geben Sie im Abschnitt Richtliniendetails unter Richtlinienname einen Richtliniennamen ein. Sie können auch eine optionale Beschreibung eingeben. Sie suchen nach diesem Richtliniennamen, wenn Sie ihn einer Rolle zuweisen.

9. Wählen Sie Richtlinie erstellen aus.

So fügen Sie Berechtigungen zu Ihrer IAM-Rolle hinzu

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie in die Suchleiste oben auf der Seite IAM ein.

3. Wählen Sie unter Dienste die Option Identity and Access Management (IAM) aus.

4. Wählen Sie im Navigationsbereich Roles (Rollen) aus.

5. Wenn Sie eine neue Rolle erstellen:

   1. Wählen Sie Rolle erstellen aus.

   2. Wählen Sie im Schritt Vertrauenswürdige Entität auswählen unter Typ der vertrauenswürdigen Entität die Option Benutzerdefinierte Vertrauensrichtlinie aus.

   3. Wählen Sie im Editor für benutzerdefinierte Vertrauensrichtlinien neben Principal hinzufügen die Option Hinzufügen aus.

   4. Wählen Sie im Popupfeld Prinzipal hinzufügen unter Prinzipaltyp die Option AWSDienste aus der Dropdownliste mit Optionen aus.

   5. Ersetzen Sie unter ARN {ServiceName} durchsagemaker.

   6. Wählen Sie Prinzipal hinzufügen aus.

   7. Wählen Sie Weiter aus.

   8. (Optional) Wählen Sie unter Berechtigungsrichtlinien die Richtlinien aus, die Sie Ihrer Rolle hinzufügen möchten.

   9. (Optional) Wählen Sie unter Berechtigungsgrenze festlegen — optional Ihre Einstellung für die Berechtigungsgrenze aus.

   10. Wählen Sie Weiter aus.

   11. Geben Sie im Schritt Name, Überprüfung und Erstellung unter Rollendetails Ihren Rollennamen und Ihre Beschreibung ein.

   12. (Optional) Unter Tags hinzufügen — optional können Sie Tags hinzufügen, indem Sie Neues Tag hinzufügen auswählen und ein optionales Paar aus Schlüssel und Wert eingeben.

   13. Überprüfen Sie die Einstellungen.

   14. Wählen Sie Rolle erstellen aus.

6. Wenn Sie die Richtlinie zu einer vorhandenen Rolle hinzufügen, gehen Sie wie folgt vor:

   1. Wählen Sie unter Rollenname den Namen der Rolle aus. Das Hauptfenster ändert sich und zeigt nun Informationen zu Ihrer Rolle an.

   2. Wählen Sie im Abschnitt Berechtigungsrichtlinien den Abwärtspfeil neben Berechtigungen hinzufügen aus.

   3. Wählen Sie aus den angezeigten Optionen die Option Richtlinien anfügen aus.

   4. Suchen Sie in der Liste der angezeigten Richtlinien nach der Richtlinie, die Sie unter So fügen Sie Ihrer IAM-Richtlinie Berechtigungen hinzu, wählen Sie sie aus und aktivieren Sie das Kontrollkästchen neben dem Namen Ihrer Richtlinie. Wenn Sie keine benutzerdefinierte IAM-Richtlinie erstellt haben, suchen Sie nach den entsprechenden Richtlinien AmazonSageMakerFullAccessund AmazonS3FullAccessaktivieren Sie sie. AWS Möglicherweise möchten Sie die Ebene der Berechtigungen berücksichtigen, die Ihrer IAM-Rolle zugewiesen werden sollen. Die Anweisungen für die benutzerdefinierte IAM-Richtlinie sind weniger freizügig, während letztere toleranter ist. Weitere Informationen zu der AmazonSageMakerFullAccess Richtlinie finden Sie unter AmazonSageMakerFullAccess.

   5. Wählen Sie Add permissions (Berechtigungen hinzufügen) aus. Ein Banner oben auf der Seite sollte darauf hinweisen, dass die Richtlinie erfolgreich an die Rolle angehängt wurde. wenn abgeschlossen.

So fügen Sie eine Vertrauensrichtlinie zu Ihrer IAM-Rolle hinzu

Die folgende Vertrauensrichtlinie ermöglicht es Administratoren, SageMaker KI die Übernahme der Rolle zu gestatten. Sie müssen die Richtlinie zu Ihrer IAM-Rolle hinzufügen. Gehen Sie dazu wie folgt vor.

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie in die Suchleiste oben auf der Seite IAM ein.

3. Wählen Sie unter Dienste die Option Identity and Access Management (IAM) aus.

4. Wählen Sie im Navigationsbereich Roles (Rollen) aus.

5. Wählen Sie unter Rollenname den Namen der Rolle aus. Das Hauptfenster ändert sich und zeigt nun Informationen zu Ihrer Rolle an.

6. Wählen Sie die Registerkarte Vertrauensstellung aus.

7. Wählen Sie Vertrauensrichtlinie bearbeiten aus.

8. Stellen Sie sicher, dass die folgende Richtlinie unter Vertrauensrichtlinie bearbeiten angezeigt wird. Sie können auch Folgendes kopieren und in den Editor einfügen.

   JSON

   {
   "Version":"2012-10-17",		 	 	 
   "Statement": [
       {
           "Sid": "",
           "Effect": "Allow",
           "Principal": {
               "Service": [
                   "sagemaker.amazonaws.com"
               ]
           },
           "Action": "sts:AssumeRole"
       }
   ]
   }
   

9. Wählen Sie Richtlinie aktualisieren. Ein Banner oben auf der Seite sollte darauf hinweisen, dass die Vertrauensrichtlinie aktualisiert wurde. wenn abgeschlossen.

Um zu starten JumpStart

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Geben Sie in die Suchleiste oben auf der Seite SageMaker AI ein.

3. Wählen Sie unter Services Amazon SageMaker AI aus.

4. Wählen Sie im Navigationsbereich Studio aus.

5. Wählen Sie Ihre Domain im Bereich Erste Schritte aus, nachdem Sie den Abwärtspfeil unter Domain auswählen erweitert haben.

6. Wählen Sie im Abschnitt Erste Schritte Ihr Benutzerprofil aus, nachdem Sie den Abwärtspfeil unter Benutzerprofil auswählen erweitert haben.

7. Wählen Sie Studio öffnen, um die Landingpage für Studio zu öffnen.

8. Wählen Sie im Navigationsbereich Aufträge aus.

Um einen Evaluierungsjob einzurichten

1. Wählen Sie auf der Startseite der Modellevaluierung die Option Modell evaluieren aus

2. Geben Sie die Auftragsdetails an.

   1. Geben Sie den Namen der Evaluierung Ihrer Modellevaluierung ein. Anhand dieses Namens können Sie Ihre Modellevaluierungsstelle nach der Einreichung leichter identifizieren.

   2. Geben Sie eine Beschreibung ein, um dem Namen mehr Kontext hinzuzufügen.

   3. Wählen Sie Weiter aus.

3. Einrichten der Auswertung

   1. Wählen Sie unter Bewertungstyp auswählen das Optionsfeld neben Mensch aus.

   2. Wählen Sie unter Wählen Sie die Modelle aus, die Sie evaluieren möchten die Option Modell zur Bewertung hinzufügen aus. Sie können für jede Bewertung bis zu zwei Modelle auswerten.

      1. Um ein vortrainiertes JumpStart Modell zu verwenden, wählen Sie Vortrainiertes Basismodell aus JumpStart . Wenn Sie ein JumpStart Modell verwenden möchten, das Sie zuvor auf einem Endpunkt bereitgestellt haben, wählen Sie Endpoints with JumpStart Foundation Models.

      2. Wenn für das Modell eine rechtliche Vereinbarung erforderlich ist, aktivieren Sie das Kontrollkästchen, um zu bestätigen, dass Sie damit einverstanden sind.

      3. Wenn Sie ein weiteres Modell hinzufügen möchten, wiederholen Sie den vorherigen Schritt.

   3. Um das Verhalten des Modells bei der Inferenz zu ändern, wählen Sie Parameter festlegen.

      Parameter festlegen enthält eine Liste von Inferenzparametern, die den Grad der Zufälligkeit in der Ausgabe Ihres Modells, die Länge der Ausgabe Ihres Modells und die Wörter, die das Modell als Nächstes wählt, beeinflussen.

   4. Wählen Sie als Nächstes einen Aufgabentyp aus. Sie können einen der folgenden Schritte auswählen:

      • Zusammenfassung des Textes

      • Fragen und Antworten (Q&A)

      • Klassifizierung von Texten

      • Generierung mit offenem Ende

      • Custom (Benutzerdefiniert)

   5. Wählen Sie im Abschnitt Bewertungskennzahlen eine Bewertungsdimension aus und geben Sie zusätzlichen Kontext zu der Dimension in das Textfeld unter Beschreibung ein. Sie können aus den folgenden Dimensionen auswählen:

      • Sprachkompetenz — Misst die sprachliche Qualität eines generierten Textes.

      • Kohärenz — Misst die Organisation und Struktur eines generierten Textes.

      • Toxizität — Misst die Schädlichkeit eines generierten Textes.

      • Genauigkeit — Gibt die Genauigkeit eines generierten Textes an.

      • Eine benutzerdefinierte Bewertungsdimension, deren Namen und Beschreibung Sie für Ihr Arbeitsteam definieren können.

        Gehen Sie wie folgt vor, um eine benutzerdefinierte Bewertungsdimension hinzuzufügen:

        • Wählen Sie Bewertungsdimension hinzufügen aus.

        • Geben Sie in das Textfeld Bewertungsdimension bereitstellen den Namen Ihrer benutzerdefinierten Dimension ein.

        • Geben Sie in das Textfeld „Beschreibung für diese Bewertungsdimension angeben“ eine Beschreibung ein, damit Ihr Arbeitsteam versteht, wie Ihre benutzerdefinierte Dimension bewertet werden soll.

      Unter jeder dieser Kennzahlen befinden sich Berichtskennzahlen, die Sie über den Abwärtspfeil Metriktyp auswählen auswählen können. Wenn Sie zwei Modelle auswerten müssen, können Sie entweder Vergleichskennzahlen oder einzelne Berichtskennzahlen wählen. Wenn Sie ein Modell zu evaluieren haben, können Sie nur einzelne Berichtsmetriken auswählen. Sie können für jede der oben genannten Kennzahlen die folgenden Typen von Berichtskennzahlen wählen.

      • (Vergleichs-) Likert-Skala — Vergleich — Ein menschlicher Bewerter gibt gemäß Ihren Anweisungen auf einer 5-Punkte-Likert-Skala an, welche der beiden Antworten sie bevorzugen. Die Ergebnisse im Abschlussbericht werden als Histogramm der Präferenzbewertungen der Bewerter für Ihren gesamten Datensatz angezeigt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können. In der in Amazon S3 gespeicherten JSON-Ausgabe wird diese Auswahl als ComparisonLikertScale Schlüssel-Wert-Paar dargestellt"evaluationResults":"ComparisonLikertScale".

      • (Vergleichend) Auswahlschaltflächen – ermöglicht es einem menschlichen Bewerter, seine bevorzugte Antwort gegenüber einer anderen Antwort anzugeben. Die Bewerter geben anhand von Optionsfeldern an, welche von zwei Antworten sie gemäß Ihren Anweisungen bevorzugen. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Antworten ausgewiesen, die die Mitarbeiter für jedes Modell bevorzugt haben. Erläutern Sie Ihre Auswertungsmethode in Ihrer Anleitung klar. In der in Amazon S3 gespeicherten JSON-Ausgabe wird diese Auswahl als ComparisonChoice Schlüssel-Wert-Paar dargestellt"evaluationResults":"ComparisonChoice".

      • (Vergleichend) Ordinale Reihenfolge – ermöglicht es einem menschlichen Bewerter, seine bevorzugten Antworten auf einen Prompt in der Reihenfolge von 1 beginnend und gemäß Ihren Anweisungen zu ordnen. Die Ergebnisse im Abschlussbericht werden als Histogramm der Bewertungen der Bewerter für den gesamten Datensatz angezeigt. Definieren Sie in Ihren Anweisungen, was ein Rang von 1 bedeutet. In der in Amazon S3 gespeicherten JSON-Ausgabe wird diese Auswahl als ComparisonRank Schlüssel-Wert-Paar dargestellt"evaluationResults":"ComparisonRank".

      • (Individuell) Daumen hoch/runter – ermöglicht es einem menschlichen Bewerter, jede Antwort eines Modells gemäß Ihren Anweisungen als akzeptabel oder inakzeptabel zu bewerten. Die Ergebnisse im Abschlussbericht werden als Prozentsatz der Gesamtzahl der abgegebenen Bewertungen ausgewiesen, die für jedes Modell eine positive Bewertung (Daumen hoch) erhalten haben. Sie können diese Bewertungsmethode für die Auswertung eines oder mehrerer Modelle verwenden. Wenn Sie diese Methode für eine Auswertung mit zwei Modellen verwenden, wird Ihrem Arbeitsteam für jede Modellantwort ein „Daumen hoch/runter“ angezeigt, und im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln aufgeführt. Definieren Sie in Ihren Anweisungen, was als Bewertung „Daumen hoch“ oder „Daumen runter“ zulässig ist. In der in Amazon S3 gespeicherten JSON-Ausgabe wird diese Auswahl als ThumbsUpDown Schlüssel-Wert-Paar dargestellt"evaluationResults":"ThumbsUpDown".

      • (Individuell) Likert-Skala – individuell – ermöglicht es einem menschlichen Bewerter, anhand Ihrer Anweisungen auf einer 5-Punkte-Likert-Skala anzugeben, wie sehr er die Modellantwort befürwortet. Die Ergebnisse im Abschlussbericht werden als Histogramm der 5-Punkte-Bewertungen der Bewerter für Ihren gesamten Datensatz angezeigt. Sie können diese Skala für eine Auswertung eines oder mehrerer Modelle verwenden. Wenn Sie diese Bewertungsmethode für eine Auswertung mit mehr als einem Modell verwenden, wird Ihrem Arbeitsteam für jede Modellantwort eine 5-Punkte-Likert-Skala angezeigt, und im Abschlussbericht werden die aggregierten Ergebnisse für jedes Modell einzeln aufgeführt. Definieren Sie in Ihren Anweisungen die wichtigen Punkte der 5-Punkte-Skala, damit Ihre Bewerter wissen, wie sie die Antworten erwartungsgemäß bewerten können. In der in Amazon S3 gespeicherten JSON-Ausgabe wird diese Auswahl als IndividualLikertScale Schlüssel-Wert-Paar dargestellt"evaluationResults":"IndividualLikertScale".

   6. Wählen Sie einen Prompt-Datensatz aus. Dieser Datensatz ist erforderlich und wird von Ihrem menschlichen Arbeitsteam verwendet, um die Antworten aus Ihrem Modell auszuwerten. Geben Sie den S3-URI für einen Amazon S3 S3-Bucket an, der Ihren Prompt-Datensatz im Textfeld unter S3-URI für Ihre Eingabedatensatzdatei enthält. Ihr Datensatz muss jsonlines formatiert sein und die folgenden Schlüssel enthalten, um zu identifizieren, welche Teile Ihres Datensatzes die Benutzeroberfläche zur Bewertung Ihres Modells verwenden wird:

      • prompt— Die Anfrage, auf die Ihr Modell eine Antwort generieren soll.

      • (Optional) category — — Die Kategoriebezeichnungen für Ihre Aufforderung. Der category Schlüssel wird verwendet, um Ihre Eingabeaufforderungen zu kategorisieren, sodass Sie Ihre Bewertungsergebnisse später nach Kategorien filtern können, um ein tieferes Verständnis der Bewertungsergebnisse zu erhalten. Es ist nicht an der Bewertung selbst beteiligt, und die Mitarbeiter sehen es nicht auf der Evaluationsoberfläche.

      • (Optional) referenceResponse — Die Referenzantwort für Ihre menschlichen Gutachter. Die Referenzantwort wird von Ihren Mitarbeitern nicht bewertet, kann aber anhand Ihrer Anweisungen dazu verwendet werden, herauszufinden, welche Antworten akzeptabel oder inakzeptabel sind.

      • (Optional) responses — Wird verwendet, um Schlussfolgerungen aus einem Modell außerhalb von SageMaker KI oder außerhalb von AWS zu spezifizieren.

        Dieses Objekt benötigt zwei zusätzliche Schlüssel-Wert-Paare"modelIdentifier, bei denen es sich um eine Zeichenfolge handelt, die das Modell identifiziert, und bei der es sich um "text" die Inferenz des Modells handelt.

        Wenn Sie in einer Eingabe des benutzerdefinierten Prompt-Datensatzes einen "responses" Schlüssel angeben, muss er in allen Eingaben angegeben werden.

      • Das folgende json Codebeispiel zeigt die akzeptierten Schlüssel-Wert-Paare in einem benutzerdefinierten Prompt-Datensatz. Das Kontrollkästchen Bring your own inference muss aktiviert sein, wenn ein Antwortschlüssel angegeben wird. Wenn diese Option aktiviert ist, muss der responses Schlüssel immer in jeder Aufforderung angegeben werden. Das folgende Beispiel könnte in einem Frage-und-Antwort-Szenario verwendet werden.

        {
            "prompt": {
                "text": "Aurillac is the capital of"
            },
            "category": "Capitals",
            "referenceResponse": {
                "text": "Cantal"
            },
            "responses": [
                // All responses must come from a single model. If specified it must be present in all JSON objects. modelIdentifier and text are then also required.
                {
                    "modelIdentifier": "meta-textgeneration-llama-codellama-7b",
                    "text": "The capital of Aurillac is Cantal."
                }
            ]
        }

   7. Geben Sie in das Textfeld unter Wählen Sie einen S3-Speicherort zum Speichern Ihrer Bewertungsergebnisse einen S3-Bucket-Speicherort ein, an dem Sie die ausgegebenen Bewertungsergebnisse speichern möchten. Die an diesen S3-Speicherort geschriebene Ausgabedatei hat JSON ein Format, das mit der Erweiterung, endet.json.

   8. Anmerkung

      Wenn Sie Ihre eigenen Inferenzdaten in die Modellevaluierung einbeziehen möchten, können Sie nur ein einziges Modell verwenden.

      (Optional) Aktivieren Sie das Kontrollkästchen unter Bring your own inference, um anzugeben, dass Ihr Prompt-Datensatz den responses Schlüssel enthält. Wenn Sie den responses Schlüssel als Teil einer Eingabeaufforderung angeben, muss er in allen Eingabeaufforderungen enthalten sein.

   9. Konfigurieren Sie Ihren Prozessor im Abschnitt Prozessorkonfiguration mit den folgenden Parametern:

      • Verwenden Sie die Anzahl der Instances, um die Anzahl der RechenInstances anzugeben, die für die Ausführung Ihres Modells verwendet werden sollen. Wenn Sie mehr als eine 1 Instance verwenden, wird Ihr Modell in parallel Instances ausgeführt.

      • Verwenden Sie den Instanztyp, um die Art der Recheninstanz auszuwählen, die Sie zur Ausführung Ihres Modells verwenden möchten. AWSverfügt über allgemeine Recheninstanzen und Instanzen, die für Datenverarbeitung und Arbeitsspeicher optimiert sind. Weitere Informationen zu den Instance-Typen finden Sie unter Instance-Typen, die für die Verwendung mit Amazon SageMaker Studio Classic-Notebooks verfügbar sind.

      • Wenn Sie möchten, dass SageMaker KI anstelle des standardmäßigen AWS Managed Service-Schlüssels Ihren eigenen Verschlüsselungsschlüssel AWS Key Management Service (AWS KMS) verwendet, wählen Sie unter Volume-KMS-Schlüssel die Option On aus und geben Sie den AWS KMS Schlüssel ein. SageMaker KI verwendet Ihren AWS KMS Schlüssel, um Daten auf dem Speichervolume zu verschlüsseln. Weitere Informationen zu Schlüsseln finden Sie unter AWS Key Management Service.

      • Wenn Sie möchten, dass SageMaker KI anstelle des standardmäßigen AWS Managed Service-Schlüssels Ihren eigenen Verschlüsselungsschlüssel AWS Key Management Service (AWS KMS) verwendet, wählen Sie unter KMS-Ausgabeschlüssel die Option Ein und geben Sie den AWS KMS Schlüssel ein. SageMaker KI verwendet Ihren AWS KMS Schlüssel, um die Ausgabe des Verarbeitungsauftrags zu verschlüsseln.

      • Verwenden Sie eine IAM-Rolle, um den Zugriff und die Berechtigungen für den Standardprozessor festzulegen. Geben Sie die IAM-Rolle ein, die Sie im Abschnitt Richten Sie Ihre IAM-Rolle in diesem Abschnitt Eine menschliche Bewertung ausführen eingerichtet haben.

   10. Nachdem Sie Ihr Modell und Ihre Kriterien angegeben haben, wählen Sie Weiter aus.

Richten Sie Ihr Arbeitsteam ein

1. Wählen Sie im Eingabefeld Team auswählen ein vorhandenes Team aus oder erstellen Sie ein neues Team.

2. Geben Sie im Feld Name der Organisation einen Namen Ihrer Organisation ein. Dieses Feld wird nur angezeigt, wenn Sie das erste Arbeitsteam im Konto erstellen.

3. Geben Sie eine Kontakt-E-Mail an. Ihre Mitarbeiter werden diese E-Mail verwenden, um mit Ihnen über die Bewertungsaufgabe zu kommunizieren, die Sie ihnen stellen werden. Dieses Feld wird nur angezeigt, wenn Sie das erste Arbeitsteam im Konto erstellen.

4. Geben Sie einen Teamnamen ein. Sie können diese Namen später nicht mehr ändern.

5. Geben Sie eine Liste mit E-Mail-Adressen für jeden Ihrer menschlichen Mitarbeiter an, die Ihr Large Language Model (LLM) evaluieren werden. Wenn Sie die E-Mail-Adressen für Ihr Team angeben, werden diese nur dann über einen neuen Job informiert, wenn sie neu zu einem Arbeitsteam hinzugefügt werden. Wenn Sie dasselbe Team für einen nachfolgenden Job verwenden, müssen Sie es manuell benachrichtigen.

6. Geben Sie dann die Anzahl der Mitarbeiter pro Aufforderung an

Geben Sie Anweisungen für Ihr Arbeitsteam

1. Stellen Sie Ihrer Belegschaft detaillierte Anweisungen zur Verfügung, damit sie Ihr Modell anhand Ihrer Kennzahlen und Standards bewerten können. Eine Vorlage im Hauptfenster enthält Beispielanweisungen, die Sie bereitstellen können. Weitere Informationen zum Erteilen von Anweisungen finden Sie unter Gute Anweisungen für Mitarbeiter erstellen.

2. Um Verzerrung bei Ihrer menschlichen Bewertung so gering wie möglich zu halten, müssen Sie das Kontrollkästchen neben Positionen der Antworten randomisieren.

3. Klicken Sie auf Weiter.

Reichen Sie Ihre Stellenbewertungsanfrage ein und sehen Sie sich den Auftragsfortschritt an

1. Um Ihre Bewertungsanfrage einzureichen, wählen Sie Ressource erstellen.

2. Um den Status aller Ihrer Aufträge anzuzeigen, wählen Sie im Navigationsbereich Aufträge aus. Wählen Sie dann Modellevaluierung aus. Der Evaluierungsstatus wird als Abgeschlossen, Fehlgeschlagen oder In Bearbeitung angezeigt.

   Folgendes wird ebenfalls angezeigt:

   • Beispielnotizbücher zur Durchführung einer Modellevaluierung in SageMaker KI und Amazon Bedrock.

   • Links zu zusätzlichen Informationen wie Dokumentation, Videos, Neuigkeiten und Blogs über den Modellevaluierungsprozess.

   • Die URL zu Ihrem Privatarbeiterportal ist ebenfalls verfügbar.

3. Wählen Sie unter Name Ihre Modellevaluierung aus, um eine Zusammenfassung Ihrer Bewertung anzuzeigen.

   • Die Zusammenfassung enthält Informationen über den Status des Jobs, welche Art von Bewertungsaufgabe Sie für welches Modell ausgeführt haben und wann sie ausgeführt wurde. Im Anschluss an die Zusammenfassung werden die Ergebnisse der menschlichen Bewertung nach Kennzahlen sortiert und zusammengefasst.

Sehen Sie sich das Zeugnis Ihres Auftrags zur Modellbewertung an, bei dem menschliche Mitarbeiter eingesetzt werden

1. Um den Bericht für Ihre Jobs anzuzeigen, wählen Sie im Navigationsbereich Jobs aus.

2. Wählen Sie dann Modellevaluierung aus. Suchen Sie auf der Startseite der Modellevaluationen anhand der Tabelle nach Ihrem Job zur Modellevaluierung. Sobald sich der Status des Jobs auf Abgeschlossen geändert hat, können Sie Ihr Zeugnis einsehen.

3. Wählen Sie den Namen des Auftrags zur Modellbewertung auf seiner Berichtskarte aus.

Um Ihre eigenen Inferenzdaten zu einem Job zur Bewertung eines menschlichen Modells hinzuzufügen.

1. Fügen Sie in Schritt 1: Jobdetails angeben den Namen Ihres Jobs zur Modellbewertung und eine optionale Beschreibung hinzu.

2. Wählen Sie in Schritt 2: Bewertung einrichten die Option Mensch aus.

3. Als Nächstes können Sie unter Wählen Sie die Modelle aus, die Sie bewerten möchten, das Modell auswählen, das Sie verwenden möchten. Sie können entweder ein JumpStart Modell verwenden, das bereits bereitgestellt wurde, oder Sie können ein vorab trainiertes Jumpstart-Foundation-Modell wählen.

4. Wählen Sie dann einen Aufgabentyp aus.

5. Als Nächstes können Sie Bewertungsmetriken hinzufügen.

6. Aktivieren Sie anschließend unter Prompt-Datensatz das Kontrollkästchen Bring your own inference, um anzugeben, dass Ihre Eingabeaufforderungen Antwortschlüssel enthalten.

7. Fahren Sie dann mit der Einrichtung Ihres Jobs zur Modellbewertung fort.