Erstellen eines benutzerdefinierte Prompt-Datensatzes für einen Auftrag zur Modellbewertung, bei dem Mitarbeiter eingesetzt werden - Amazon Bedrock
Ausführen eines Bewertungsauftrags, bei dem Amazon Bedrock ein Modell für Sie aufruftAusführen eines Bewertungsauftrags mit eigenen Inferenzantwortdaten

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines benutzerdefinierte Prompt-Datensatzes für einen Auftrag zur Modellbewertung, bei dem Mitarbeiter eingesetzt werden

Geben Sie einen benutzerdefinierten Prompt-Datensatz an, um einen Auftrag zur Modellbewertung zu erstellen, bei dem Mitarbeiter eingesetzt werden. Diese Prompts werden dann bei der Inferenz mit den Modellen verwendet, die Sie für die Bewertung auswählen.

Wenn Sie Modelle, die nicht von Amazon Bedrock stammen, anhand von Antworten bewerten möchten, die Sie bereits generiert haben, nehmen Sie sie wie unter Ausführen eines Bewertungsauftrags mit eigenen Inferenzantwortdaten beschrieben in den Prompt-Datensatz auf. Wenn Sie eigene Inferenzantwortdaten angeben, überspringt Amazon Bedrock den Schritt zum Aufrufen des Modells und führt den Bewertungsauftrag mit den von Ihnen bereitgestellten Daten durch.

Datensätze mit benutzerdefinierten Eingabeaufforderungen müssen in Amazon S3 gespeichert werden und das JSON-Zeilenformat und die .jsonl-Dateierweiterung verwenden. Jede Zeile muss ein gültiges JSON-Objekt sein. Ihr Datensatz kann bis zu 1000 Eingabeaufforderungen pro automatischem Bewertungsauftrag enthalten.

Für einen Auftrag, der mit der Konsole erstellt wurde, müssen Sie die Cross Origin Resource Sharing (CORS)-Konfiguration im S3-Bucket aktualisieren. Verwenden Sie , um mehr über die für diese Rolle erforderlichen CORS-Berechtigungen zu erfahren Erforderliche Cross Origin Resource Sharing (CORS)-Berechtigungen für S3-Buckets.

Ausführen eines Bewertungsauftrags, bei dem Amazon Bedrock ein Modell für Sie aufruft

Wenn Sie einen Bewertungsauftrag ausführen möchten, bei dem Amazon Bedrock die Modelle für Sie aufruft, stellen Sie einen Prompt-Datensatz bereit, der die folgenden Schlüssel-Wert-Paare enthält:

  • prompt – Der Prompt, auf den die Modelle antworten sollen

  • referenceResponse – (optional) Eine Ground-Truth-Antwort, auf die sich Ihre Mitarbeiter bei der Bewertung beziehen können

  • category – (optional) Ein Schlüssel, mit dem Sie die Ergebnisse filtern können, wenn Sie sie im Bericht über die Modellbewertung überprüfen.

Geben Sie in der Worker-Benutzeroberfläche an, sind Ihre Eingaben zu prompt und referenceResponse für Ihre Mitarbeiter sichtbar.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben enthält und das JSON-Zeilenformat verwendet.

{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}
{"prompt":"Provide the prompt you want the model to use during inference","category":"(Optional) Specify an optional category","referenceResponse":"(Optional) Specify a ground truth response."}

Das folgende Beispiel ist ein einzelner Eintrag, der der Übersichtlichkeit halber erweitert wurde. In Ihrem tatsächlichen Prompt-Datensatz muss jede Zeile ein gültiges JSON-Objekt sein.

{
  "prompt": "What is high intensity interval training?",
  "category": "Fitness",
  "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods."
}

Ausführen eines Bewertungsauftrags mit eigenen Inferenzantwortdaten

Wenn Sie einen Bewertungsauftrag mit Antworten ausführen möchten, die Sie bereits generiert haben, stellen Sie einen Prompt-Datensatz bereit, der die folgenden Schlüssel-Wert-Paare enthält:

  • prompt – Der Prompt, den Ihre Modelle zur Generierung der Antworten verwendet haben

  • referenceResponse – (optional) Eine Ground-Truth-Antwort, auf die sich Ihre Mitarbeiter bei der Bewertung beziehen können

  • category – (optional) Ein Schlüssel, mit dem Sie die Ergebnisse filtern können, wenn Sie sie im Bericht über die Modellbewertung überprüfen.

  • modelResponses – Die Antworten auf Ihre eigene Inferenz, die Sie bewerten möchten. Sie können entweder einen oder zwei Einträge mit den folgenden Eigenschaften in die modelResponses-Liste aufnehmen.

    • response – Eine Zeichenfolge, die die Antwort aus Ihrer Modellinferenz enthält

    • modelIdentifier – Eine Zeichenfolge, die das Modell identifiziert, das die Antworten generiert hat.

Jede Zeile in Ihrem Prompt-Datensatz muss dieselbe Anzahl von Antworten enthalten (entweder eine oder zwei). Darüber hinaus müssen Sie in jeder Zeile dieselbe(n) Modell-ID(s) angeben und dürfen nicht mehr als 2 Einzelwerte für modelIdentifier in einem einzigen Datensatz verwenden.

Im Folgenden finden Sie ein Beispiel für einen benutzerdefinierten Datensatz, der 6 Eingaben im JSON-Zeilenformat verwendet.

{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}
{"prompt":"The prompt you used to generate the model responses","referenceResponse":"(Optional) a ground truth response","category":"(Optional) a category for the prompt","modelResponses":[{"response":"The response your first model generated","modelIdentifier":"A string identifying your first model"},{"response":"The response your second model generated","modelIdentifier":"A string identifying your second model"}]}

Das folgende Beispiel ist ein einzelner Eintrag in einem Prompt-Datensatz, der der Übersichtlichkeit halber erweitert wurde.

{
    "prompt": "What is high intensity interval training?",
    "referenceResponse": "High-Intensity Interval Training (HIIT) is a cardiovascular exercise approach that involves short, intense bursts of exercise followed by brief recovery or rest periods.",
    "category": "Fitness",
     "modelResponses": [
        {
            "response": "High intensity interval training (HIIT) is a workout strategy that alternates between short bursts of intense, maximum-effort exercise and brief recovery periods, designed to maximize calorie burn and improve cardiovascular fitness.",
            "modelIdentifier": "Model1"
        },
        {
            "response": "High-intensity interval training (HIIT) is a cardiovascular exercise strategy that alternates short bursts of intense, anaerobic exercise with less intense recovery periods, designed to maximize calorie burn, improve fitness, and boost metabolic rate.",
            "modelIdentifier": "Model2"
        }
    ]
}