Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Eingabedatensatz vorbereiten

Dateiformat

Die Eingabedatei verwendet das JSONL-Format: ein JSON-Objekt pro Zeile. Jede Zeile steht für eine zu optimierende Eingabeaufforderungsvorlage und die zugehörigen Felder. Sie geben eine Eingabedatei pro Job an.

Schema-Referenz

In diesem Prompt-Datensatz wählen Sie auch die Bewertungsmethode aus, mit der die Optimierung gesteuert werden soll. Weitere Informationen zur Auswahl einer Bewertungsmethode finden Sie unterBewertungsmethoden definieren.

{
    "version": "bedrock-2026-05-14",
    "templateId": "string",
    "promptTemplate": "string",
    "steeringCriteria": ["string"],
    "customEvaluationMetricLabel": "string",
    "customLLMJConfig": {
        "customLLMJPrompt": "string",
        "customLLMJModelId": "string"
    },
    "evaluationMetricLambdaArn": "string",
    "evaluationSamples": [
        {
            "inputVariables": [
                {"variableName1": "string"}
            ],
            "referenceResponse": "string",
            "inputVariablesMultimodal": [
                {
                    "Arbitrary_Name": {
                        "type": "string",
                        "s3Uri": "string"
                    }
                }
            ]
        }
    ]
}

Beschreibungen der Felder

Pflichtfelder

Platzhalter-Variablen

Verwenden Sie die {{variableName}} Syntax (doppelte geschweifte Klammern) für Platzhalter in Ihrer Vorlage für Eingabeaufforderungen. Die eingegebenen Schlüssel inputVariables müssen exakt mit den Platzhalternamen übereinstimmen. Jeder Schlüssel muss sich in einem eigenen Objekt in der Liste befinden. Maximal 20 Textplatzhaltervariablen pro Vorlage. Platzhaltervariablen sollten nicht verwendet werden, um auf einen S3-Speicherort einer multimodalen Datei zu verweisen. Die Platzhaltervariablen sind nur für Text bestimmt. Wenn Sie multimodale Dateien haben, werden diese zusammen mit der Textaufforderung an das Modell in der Payload gesendet.

Beispiele für die Evaluierung

inputVariablesAls Liste von Objekten mit nur einem Schlüssel angeben:[{"variable1": "value1"}, {"variable2": "value2"}]. Fügen Sie NICHT mehrere Schlüssel in ein Objekt ein. Geben Sie optional referenceResponse als grundlegende Antwort ein, um bessere Optimierungsergebnisse zu erzielen. Verwenden Sie für multimodale Eingaben das inputVariablesMultimodal Array mit Arbitrary_Name Objekten. Multimodale Dateien werden zusammen mit der Textaufforderung in der Payload an das Modell gesendet. Unterstützte Typen sind IMAGE (JPG, JPEG, PNG, GIF, WebP) und PDF mit maximal 100 multimodalen Dateien pro Probe. Multimodale Eingaben (Bilder und PDFs) werden zusammen mit der Aufforderung in der Nutzlast an das Modell gesendet, sollten jedoch nicht in einer Variablen mit doppelten geschweiften Klammern referenziert werden. {{placeholder}}

Strategie der Evaluierung

Wählen Sie EINE Bewertungsmethode pro Vorlage oder lassen Sie alle optionalen Bewertungsfelder für den Systemstandard weg (der Genauigkeit, Vollständigkeit der Antworten und eine subjektive Bewertung des Schreibstils kombiniert). Wir empfehlen Ihnen, Ihre eigene Bewertungsmethode zu definieren, um die besten Ergebnisse zu erzielen. Sie können für alle Vorlagen im gleichen Job unterschiedliche Methoden verwenden. Details dazu finden Sie unter Bewertungsmethoden definieren.

Einschränkungen

Die vollständige Liste der Kontingente finden Sie unterUnterstützte Regionen, Modelle und Kontingente. Wichtigste Grenzwerte für die Vorbereitung von Eingabedateien:

Häufige Fehler

Verwenden Sie multimodale Eingaben

Unterstützte Dateitypen: IMAGE (JPG, JPEG, PNG, GIF, WebP) und PDF.

Vorgehensweise: Verwenden Sie das inputVariablesMultimodal Array mit Arbitrary_Name Objekten, die type und s3Uri enthalten.

Grenzwerte: Maximal 100 multimodale Dateien pro Evaluationsbeispiel. Sie können mischen und abgleichen, sodass Sie bis zu 20 Textvariablen sowie 100 multimodale Dateien pro Teststichprobendatensatz haben.

Mischen von Text und Multimodal: Sie können beide inputVariables (Text) inputVariablesMultimodal in derselben Stichprobe verwenden. Doppelte geschweifte Klammern {{placeholders}} sind nur für Klartext reserviert. Sie können nicht über Platzhalter auf multimodale Dateien verweisen. Platzhaltervariablen sollten nicht verwendet werden, um auf einen S3-Speicherort einer multimodalen Datei zu verweisen. Wenn Sie über multimodale Dateien verfügen, werden diese zusammen mit der Textaufforderung an das Modell in der Payload gesendet.

Tipps zu Datensätzen

Beispiele

Beispiel 1: Eine Vorlage, mehrere Variablen, eine einzige Bewertungsstichprobe, Steuerungskriterien

{
    "version": "bedrock-2026-05-14",
    "templateId": "customer-support-v1",
    "promptTemplate": "You are a customer support agent.\n\nProduct info:\n{{productInfo}}\n\nQuestion:\n{{customerQuestion}}\n\nProvide a helpful response.",
    "steeringCriteria": ["PROFESSIONAL"],
    "evaluationSamples": [{
        "inputVariables": [{"productInfo": "Product: Sony WH-1000XM5. Battery: 30 hours."}, {"customerQuestion": "How long does the battery last?"}],
        "referenceResponse": "The battery lasts up to 30 hours on a single charge."
    }]
}

Beispiel 2: Eine Vorlage, mehrere Variablen, mehrere Bewertungsstichproben, Steuerungskriterien

{
    "version": "bedrock-2026-05-14",
    "promptTemplate": "You are a customer support agent for an electronics store.\n\nGiven the following product information:\n{{productInfo}}\n\nAnswer the customer's question:\n{{customerQuestion}}\n\nProvide a helpful, accurate, and concise response.",
    "templateId": "template-support-1",
    "steeringCriteria": ["PROFESSIONAL", "CONCISE"],
    "evaluationSamples": [
        {"inputVariables": [{"productInfo": "Product: Sony WH-1000XM5 Headphones. Price: $349.99. Battery Life: 30 hours. Noise Cancellation: Yes, adaptive. Connectivity: Bluetooth 5.2, 3.5mm jack. Weight: 250g."}, {"customerQuestion": "How long does the battery last and can I use them wired?"}], "referenceResponse": "The Sony WH-1000XM5 headphones have a battery life of up to 30 hours on a single charge. And yes, they do come with a 3.5mm jack, so you can use them in wired mode as well."},
        {"inputVariables": [{"productInfo": "Product: Sony WH-1000XM5 Headphones. Price: $349.99. Battery Life: 30 hours. Noise Cancellation: Yes, adaptive. Connectivity: Bluetooth 5.2, 3.5mm jack. Weight: 250g."}, {"customerQuestion": "Do these have noise cancellation?"}], "referenceResponse": "Yes, the Sony WH-1000XM5 headphones feature adaptive noise cancellation, which automatically adjusts the level of noise cancellation based on your environment."},
        {"inputVariables": [{"productInfo": "Product: Apple MacBook Air M3. Price: $1,099. RAM: 8GB. Storage: 256GB SSD. Display: 13.6-inch Liquid Retina. Battery Life: Up to 18 hours."}, {"customerQuestion": "Is 8GB of RAM enough for video editing?"}], "referenceResponse": "The MacBook Air M3 comes with 8GB of unified memory. It can handle light video editing but you may want more RAM for heavy work."}
    ]
}

Beispiel 3: Zwei Vorlagen, eine Variable pro Aufforderung, mehrere Stichproben, Steuerungskriterien

Dieses Beispiel zeigt zwei Zeilen in der JSONL-Datei (zwei Prompt-Vorlagen in einem Job).

{"version": "bedrock-2026-05-14", "promptTemplate": "You are a helpful assistant. Answer the following: {{question}}", "templateId": "template-qa-1", "steeringCriteria": ["ACCURATE"], "evaluationSamples": [{"inputVariables": [{"question": "What is 2+2?"}], "referenceResponse": "4"}, {"inputVariables": [{"question": "What is the largest planet in our solar system?"}], "referenceResponse": "Jupiter is the largest planet in our solar system."}]}
{"version": "bedrock-2026-05-14", "promptTemplate": "Translate the following to French: {{text}}", "templateId": "template-translate-1", "steeringCriteria": ["PRECISE"], "evaluationSamples": [{"inputVariables": [{"text": "Hello, how are you?"}], "referenceResponse": "Bonjour, comment allez-vous?"}, {"inputVariables": [{"text": "Thank you very much."}], "referenceResponse": "Merci beaucoup."}]}

Beispiel 4: Einzelne Vorlage, mehrere Variablen, mehrere Beispiele, LLM-as-a-judge

{
    "version": "bedrock-2026-05-14",
    "promptTemplate": "You are a customer support agent for an electronics store.\n\nGiven the following product information:\n{{productInfo}}\n\nAnswer the customer's question:\n{{customerQuestion}}\n\nProvide a helpful, accurate, and concise response.",
    "templateId": "template-llmj-1",
    "customEvaluationMetricLabel": "responseaccuracy",
    "evaluationSamples": [
        {"inputVariables": [{"productInfo": "Product: Sony WH-1000XM5 Headphones. Price: $349.99. Battery Life: 30 hours. Noise Cancellation: Yes, adaptive."}, {"customerQuestion": "How long does the battery last?"}], "referenceResponse": "The Sony WH-1000XM5 headphones have a battery life of up to 30 hours on a single charge."},
        {"inputVariables": [{"productInfo": "Product: Apple MacBook Air M3. Price: $1,099. RAM: 8GB. Storage: 256GB SSD."}, {"customerQuestion": "Is 8GB of RAM enough for video editing?"}], "referenceResponse": "The MacBook Air M3 comes with 8GB of unified memory. It can handle light video editing but you may want more RAM for heavy work."}
    ],
    "customLLMJConfig": {
        "customLLMJPrompt": "Evaluate how accurate the response is to the customer question. Consider whether the response uses only the provided product information and does not hallucinate details. Here is the information you are supposed to evaluate: \n\nPrompt: {{prompt}}\nResponse: {{response}}\n\n \n\n ground truth answer: {{referenceResponse}}. Grading scale: Rate the response on a scale of 1-5. 1 means the answer is full of hallucinations and does not answer the question. 5 means the answer does not hallucinate at all and perfectly answers the question with no extra information. Interpolate the rest of the grading scale",
        "customLLMJModelId": "anthropic.claude-sonnet-4-5-20250929-v1:0"
    }
}

Beispiel 5: Einzelne Vorlage, mehrere Variablen, mehrere Stichproben, keine Bewertungsmethode (Systemstandard)

Da keine Bewertung oder Steuerung vorgesehen ist, verwendet der Prompt-Optimierer ein integriertes Generikum, LLM-as-a-judge das Genauigkeit, Vollständigkeit und Schreibstil kombiniert.

{
    "version": "bedrock-2026-05-14",
    "promptTemplate": "You are a customer support agent for an electronics store.\n\nGiven the following product information:\n{{productInfo}}\n\nAnswer the customer's question:\n{{customerQuestion}}\n\nProvide a helpful, accurate, and concise response.",
    "templateId": "template-default-llmj-1",
    "evaluationSamples": [
        {"inputVariables": [{"productInfo": "Product: Sony WH-1000XM5 Headphones. Price: $349.99. Battery Life: 30 hours. Noise Cancellation: Yes, adaptive."}, {"customerQuestion": "How long does the battery last?"}], "referenceResponse": "The Sony WH-1000XM5 headphones have a battery life of up to 30 hours on a single charge."},
        {"inputVariables": [{"productInfo": "Product: Apple MacBook Air M3. Price: $1,099. RAM: 8GB. Storage: 256GB SSD."}, {"customerQuestion": "Is 8GB of RAM enough for video editing?"}], "referenceResponse": "The MacBook Air M3 comes with 8GB of unified memory. It can handle light video editing but you may want more RAM for heavy work."}
    ]
}

Beispiel 6: Einzelne Vorlage, einzelne Variable, mehrere Stichproben, Lambda-Evaluator

{
    "version": "bedrock-2026-05-14",
    "promptTemplate": "You are a helpful assistant. Answer the following: {{question}}",
    "templateId": "template-byo-1",
    "customEvaluationMetricLabel": "accuracygraderlambda",
    "evaluationSamples": [
        {"inputVariables": [{"question": "What is the capital of France?"}], "referenceResponse": "The capital of France is Paris."},
        {"inputVariables": [{"question": "What is 2+2?"}], "referenceResponse": "4"}
    ],
    "evaluationMetricLambdaArn": "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT_ID>:function:<YOUR_EVAL_FUNCTION>"
}

Beispiel 7: Einzelne Vorlage, keine Textvariablen, nur multimodal, LLM-as-judge

Dies ist eine akzeptable Eingabe, auch wenn keine Eingabe erforderlich ist{{variables}}, da eine multimodale Eingabe enthalten ist.

{
    "version": "bedrock-2026-05-14",
    "templateId": "multimodal_only_01",
    "promptTemplate": "Does this image contain a dog? Respond yes or no",
    "customEvaluationMetricLabel": "binarydogjudge",
    "customLLMJConfig": {
        "customLLMJPrompt": "Determine if the model response matches the ground truth. Grading scale: 0 if the response does not match the ground truth, 1 if the response matches the ground truth. Here is the input: \n\n input: {{prompt}} \n\n model response: {{response}} \n\n ground truth: {{referenceResponse}}.",
        "customLLMJModelId": "anthropic.claude-sonnet-4-5-20250929-v1:0"
    },
    "evaluationSamples": [
        {"inputVariablesMultimodal": [{"dogimage": {"type": "IMAGE", "s3Uri": "s3://my-bucket/images/dog-photo.jpeg"}}], "referenceResponse": "Yes"},
        {"inputVariablesMultimodal": [{"catimage": {"type": "IMAGE", "s3Uri": "s3://my-bucket/images/cat-photo.png"}}], "referenceResponse": "No"}
    ]
}

Beispiel 8: Einzelne Vorlage, mehrere Variablen LLM-as-judge, gemischter Text und multimodal

{
    "version": "bedrock-2026-05-14",
    "templateId": "multimodal_with_text_01",
    "promptTemplate": "Given the context in attached documents and the user question, provide a short answer. User question: {{question}}",
    "customEvaluationMetricLabel": "documentinfograder",
    "customLLMJConfig": {
        "customLLMJPrompt": "Evaluate whether the response correctly answers the question using information from the provided document. Score 1-5 where 5 means fully correct and grounded in the source material, and 1 means the answer was completely hallucinated and inaccurate. Here's the information: \n Prompt: {{prompt}}, Model response: {{response}}, ground truth: {{referenceResponse}}",
        "customLLMJModelId": "anthropic.claude-sonnet-4-5-20250929-v1:0"
    },
    "evaluationSamples": [
        {
            "inputVariables": [{"question": "What is the total revenue for Q1?"}],
            "inputVariablesMultimodal": [
                {"Q1report": {"type": "PDF", "s3Uri": "s3://my-bucket/docs/quarterly-report.pdf"}},
                {"revenuechart": {"type": "IMAGE", "s3Uri": "s3://my-bucket/images/revenue-chart.png"}}
            ],
            "referenceResponse": "The total revenue for Q1 was $4.2M."
        }
    ]
}

Beispiel 9: Einzelne Vorlage, selektive Optimierung mit advpo:optimize, Steuerungskriterien

In diesem Beispiel werden <advpo:optimize> Tags verwendet, um nur die Anweisungen zur Beantwortung von Beschwerden zu optimieren. Die Identitätserklärung und die Richtlinieneinschränkungen werden beibehalten.

{
    "version": "bedrock-2026-05-14",
    "templateId": "selective-optimize-v1",
    "promptTemplate": "You are a customer service agent for Acme Corp. Always be polite and professional.\n\n<advpo:optimize>When responding to a complaint, acknowledge the customer's frustration, summarize the issue, and propose exactly one concrete resolution. Use bullet points for clarity.</advpo:optimize>\n\nNever disclose internal pricing or employee information.",
    "steeringCriteria": ["PROFESSIONAL", "CONCISE"],
    "evaluationSamples": [
        {"inputVariables": [{"customerComplaint": "I was charged twice for my order #12345"}], "referenceResponse": "I understand your frustration about being charged twice for order #12345. Let me look into this for you.\n\n- Issue: Duplicate charge on your account\n- Resolution: I will process a refund for the duplicate charge within 3-5 business days."},
        {"inputVariables": [{"customerComplaint": "My package arrived damaged"}], "referenceResponse": "I'm sorry to hear your package arrived damaged.\n\n- Issue: Damaged item received\n- Resolution: I will send a replacement at no extra cost, arriving within 2 business days."}
    ]
}

Beispiel 10: Einzelne Vorlage, selektive Optimierung mit advpo:exclude, LLM-as-a-judge

In diesem Beispiel werden <advpo:exclude> Tags verwendet, um die Identitäts- und Richtlinienabschnitte einzufrieren. Alles andere ist optimiert.

{
    "version": "bedrock-2026-05-14",
    "templateId": "selective-exclude-v1",
    "promptTemplate": "<advpo:exclude>You are a technical support agent for CloudWidget. Always verify the customer's account before making changes.</advpo:exclude>\n\nWhen a customer reports an issue, ask clarifying questions about their environment, check the knowledge base for known solutions, and provide step-by-step instructions.\n\n<advpo:exclude>Never share internal ticket IDs or system architecture details with customers.</advpo:exclude>",
    "customEvaluationMetricLabel": "supportquality",
    "customLLMJConfig": {
        "customLLMJPrompt": "Evaluate the quality of the technical support response. Consider whether it asks relevant clarifying questions, provides clear step-by-step instructions, and maintains a helpful tone. Score 1-5 where 5 means excellent support interaction and 1 means unhelpful or unclear. Here is the information: \n\nPrompt: {{prompt}}\nResponse: {{response}}\nGround truth: {{referenceResponse}}",
        "customLLMJModelId": "anthropic.claude-sonnet-4-5-20250929-v1:0"
    },
    "evaluationSamples": [
        {"inputVariables": [{"customerIssue": "My dashboard is loading slowly since yesterday"}], "referenceResponse": "I'd like to help you resolve the slow dashboard loading. A few questions to narrow things down:\n\n1. Which browser are you using?\n2. Have you tried clearing your browser cache?\n3. Is the slowness on all pages or just the dashboard?\n\nIn the meantime, try these steps:\n1. Clear your browser cache and cookies\n2. Disable any browser extensions\n3. Try accessing the dashboard in an incognito window"}
    ]
}