Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fortgeschrittene Themen und Strategien

Themen auf dieser Seite

Multi-objective Optimierung

Advanced Prompt Optimization akzeptiert eine Metrik pro Lauf — einen einzelnen Skalarwert pro Stichprobe. Es unterstützt jedoch implizit die Optimierung mit mehreren Zielen (mehrdimensional): Sie können mehrere Ziele in einem Skalar (einer zusammengesetzten Metrik) bündeln, und der Service optimiert die Aufforderung anhand dieses Pakets. In diesem Abschnitt werden die von uns empfohlenen Muster behandelt, sofern jedes angemessen ist, und die Fehlerursachen, auf die Sie achten sollten.

Dies gilt für alle Branchen — überall dort, wo Ihnen mehr als eine Sache gleichzeitig wichtig ist: Genauigkeit + Ton, Korrektheit beim Geräteaufruf + Sicherheit, Treue + Prägnanz, Latenzfreundlichkeit + Vollständigkeit und mehr.

Warum eine Metrik eigentlich mehrere Ziele hat

Zwei Fakten über das System sorgen dafür, dass es funktioniert:

Bei „einer Metrik pro Lauf“ handelt es sich also um einen Vertrag über die Signalform, nicht um eine Begrenzung dessen, wofür Sie optimieren können.

Muster zur Bündelung mehrerer Ziele in einer einzigen Metrik

Wählen Sie eines aus, das darauf basiert, wie Ihre Ziele zueinander in Beziehung stehen.

Muster 1 — Gewichtete Summe (am häufigsten)

final = w₁·s₁ + w₂·s₂ + ... + wₖ·sₖ, wobei sich die Gewichte zu 1 summieren.

Einsatzgebiet: Ziele sind in etwa unabhängig und du kannst sie nach einer Rangfolge ordnen. Trade-offs sind akzeptabel — ein Ziel auf Kosten eines anderen zu verbessern ist in Ordnung, solange die Summe steigt.

Gewichte auswählen:

Beispiel (Agenten/ Werkzeugnutzung):

final = 0.5 * tool_correctness + 0.3 * answer_correctness + 0.2 * format_compliance

Muster 2 — Hard-fail Tore (sicherheitskritisch)

Definieren Sie ein oder mehrere Gating-Ziele. Wenn ein Tor fehlschlägt, ist der Punktestand 0 (oder ein Stockwerk), unabhängig vom Rest. Andernfalls ist der Punktestand die gewichtete Summe der verbleibenden Tore.

if not safety_check_passed:
    return 0.0
if wrong_tool_called_for_destructive_action:
    return 0.0
return 0.6 * accuracy + 0.4 * tone

Verwendungszweck: Mindestens ein Ziel ist nicht verhandelbar (PII-Leak, falsches Konto wurde geändert, verbotener Inhalt wird abgelehnt). Verwenden Sie diese Option immer dann, wenn eine Meldung mit der Aufschrift „durchschnittlich gut“ inakzeptabel ist, wenn auch nur gelegentlich die Sicherheitsleiste nicht erreicht wird.

Warum das besser ist als bloße Gewichtung: Mit Gewichten allein kann der Optimierer Sicherheit gegen Qualität eintauschen und trotzdem den Punktestand nach oben klettern. Ein Tor macht den Kompromiss durch die Konstruktion unmöglich.

Muster 3 — Einschränkung + Belohnung () Pareto-style

Wähle das wichtigste Ziel als Belohnung. Drücke den Rest als Einschränkungen aus, die, wenn sie verletzt werden, von der Belohnung abziehen (anstatt sie auf Null zu setzen).

reward = task_accuracy
penalty = 0.0
if response_too_long:
    penalty += 0.1
if missed_required_disclosure:
    penalty += 0.2
return max(0.0, reward - penalty)

Verwendungszweck: Sie möchten, dass ein primäres Ziel den Anfang hat, aber weiche sekundäre Ziele sollten die Aufforderung trotzdem prägen. Weniger spröde als harte Tore, weniger zweideutig als gewichtete Summen.

Muster 4 — Lambda außen, LLM-as-a-Judge innen (empfohlen für unscharfe und strukturelle Mischungen)

Eine Lambda-Metrik berechnet deterministische Teilwerte (Regex, JSON-Parse, Schemavalidierung) und ruft eine LLM-as-a-Judge Unterbewertung für die unscharfen Teile (Ton, Treue, Hilfsbereitschaft) innerhalb der Lambda-Funktion auf. Sie fasst sie dann zu einem Skalar zusammen.

def compute_score(prompt, prediction, gold, ...):
    structural = grade_format_and_tools(prediction)        # 0..1 from regex
    semantic   = call_llm_judge(prediction, gold, criteria) # 0..1 from LLMJ
    if structural < 1.0 and is_safety_critical(prompt):
        return 0.0
    return 0.6 * semantic + 0.4 * structural

Verwendungszweck: Ihre Ziele sind eine Mischung aus „leicht im Code zu testenden“ (Formate, Toolnamen, Länge, Vorhandensein von Zitaten) und „Es muss ein Modell zur Beurteilung vorliegen“ (Tonfall, Treue, Hilfsbereitschaft). Das ist oft einfacher, als eine einzige LLM-as-a-Judge Aufforderung zu bitten, ein einziges zusammengesetztes Ergebnis zu erstellen, da die deterministischen Teile nicht von Lauf zu Lauf abweichen.

Muster 5 — Multi-dimension LLM-as-a-Judge (kein Lambda)

Verwenden Sie den integrierten LLM-as-a-Judge Flow, optional mit einemcustomLLMJConfig.customLLMJPrompt, der Ihre eigenen Abmessungen und Gewichtungen definiert. Der Richter gibt Punktzahlen pro Dimension und eine ausOverall; das System analysiert Overall (oder berechnet den Durchschnitt der Dimensionen, falls sie Overall fehlen) in einen [0, 1] -Skalar.

Verwendungszweck: Alle Ihre Ziele sind semantisch/unscharf und Sie haben keine deterministischen Unterprüfungen. Am schnellsten zu verfassen. Achten Sie auf Abweichungen bei der Bewertung — lassen Sie denselben Datensatz zweimal erneut laufen und überprüfen Sie die Stabilität der Ergebnisse, bevor Sie ihm als Optimierungssignal vertrauen.

Ein Muster auswählen

Sie können Muster kombinieren. Eine typische Produktionskennzahl lautet: „Gewichtete Summe plus eine harte Fehlschwelle in Bezug auf die Sicherheit“.

Fehlermodi, auf die Sie achten sollten

Pre-launch Checkliste

Optimierung von mehrstufigen und abgestuften Eingabeaufforderungen

Advanced Prompt Optimization optimiert eine einzelne Prompt-Vorlage anhand von Auswertungen pro Stichprobe. Sie ist nativ nicht rundenorientiert — sie kann nicht über einen Dialog hinweg iterieren oder das Verhalten bei einem bestimmten Zug nativ optimieren. Eine abgestufte Aufforderung ist eine Vorlage für Eingabeaufforderungen, bei der eine Konversation oder ein Arbeitsablauf, der mehrere Schritte umfasst, dieselbe Aufforderung wiederverwendet, und die Aufforderung selbst enthält Anweisungen für jede Phase, jeden Schritt oder jede Phase des Workflows. Um diese Eingabeaufforderungen zu optimieren, reduzieren Sie den Status des Dialogs auf die Eingabevariablen der Vorlage, integrieren Sie die Systemanweisungen, die Sie verfeinern möchtenpromptTemplate, und untersuchen Sie die Kurven, die Ihnen wirklich wichtig sind, anhand von Referenzantworten pro Stichprobe.

Dieses Muster ist vertikal unabhängig. Es gilt überall dort, wo ein Modell wiederholt und in zunehmendem Kontext aufgerufen wird — Abläufe im Kundenservice, Schleifen bei der Nutzung von Tools durch Agenten, mehrstufiges Denken, Nachhilfe, abwechselnde Codeassistenten, dokumentengestützte Qualitätssicherung, Triage-Workflows und mehr.

Was Advanced Prompt Optimization tatsächlich optimiert

Alles, was Sie optimieren möchten, muss in sich promptTemplate selbst enthalten sein. Dinge, die je nach Beispiel variieren (der Gesprächsverlauf, die aktuelle Benutzerabfrage, der abgerufene Kontext), sind {{variables}} Die Systemanweisungen, die Sie verfeinern möchten, sind Teil der Vorlage — niemals eine Eingabevariable, sonst muss der Service nichts umschreiben.

Wenn Sie möchten, dass der Service das Verhalten bei Kurve N verbessert, drücken Sie Turn N als gerenderte Eingabeaufforderung plus Eingabevariablen für ein Sample aus, wobei referenceResponse es sich um die gewünschte Turn-N-Modellausgabe handelt.

Muster A — (empfohlener Starter) Stage-at-a-time

Optimieren Sie jeweils eine Phase des Dialogs. Jede Bewertungsprobe stellt einen einzelnen Entscheidungspunkt innerhalb dieser Phase dar.

Eine „Phase“ ist hier alles, was Sie anhand einer Reihe kohärenter Erfolgskriterien beschreiben können. Beispiele von vertical:

Wann sollte Muster A verwendet werden

Form einer Schablone

Die stufenspezifischen Systemanweisungen sind in die Vorlage integriert (das wird vom Service neu geschrieben). Nur der Gesprächsverlauf und der aktuelle Spielzug sind Variablen. Die folgende Struktur dient der Veranschaulichung und ist nicht vorgeschrieben. Verwenden Sie die Trennzeichen oder das Layout, das Ihr Modell am besten verarbeitet. Die einzigen Anforderungen sind: (a) Die Systemanweisungen, die Sie optimieren möchten, befinden sich direkt in der Vorlage, und (b) die Variablen pro Stichprobe werden als referenziert. {{variablename}}

You are an assistant in the {STAGE_NAME} phase of a multi-turn task.
- ...the policy / goals / format / tool-use rules for this phase...
- ...constraints the model must satisfy at this point in the conversation...

Conversation so far:
{{conversation_so_far}}

User's current message:
{{user_query}}

Form der Probe

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n... (turns 1..N-1)"},
        {"user_query": "...the user input that triggers this stage..."}
    ],
    "referenceResponse": "...the assistant output that satisfies the stage's success criteria..."
}

Vor- und Nachteile

Vorteile: Enges Feedbacksignal, kleinere Eingabeaufforderungen, schnellere Optimierungsläufe, einfachere Erstellung einer fokussierten Metrik.

Nachteile: Erkennt keine stufenübergreifenden Abweichungen; Sie führen den Service einmal pro Stufe aus und benötigen möglicherweise einen abschließenden Integrationstest.

Muster B — Vollständig abgeflachte Konversation (fortgeschritten)

Optimieren Sie eine große monolithische Aufforderung, die für die gesamte mehrstufige Richtlinie zuständig ist. Bei jedem Sample handelt es sich um den vollständigen Dialog bis hin zu einer Sondenumdrehung.

Wann sollte Muster B verwendet werden

Form einer Schablone

Die vollständige monolithische, mehrphasige Systemaufforderung befindet sich buchstäblich in der Vorlage. Der Dienst schreibt diesen Text während der Optimierung neu. Die Historie und der aktuelle Spielzug bleiben variabel. Wählen Sie ein beliebiges Layout, das Ihr Modell gut verarbeiten kann. Die Anforderungen bestehen lediglich darin, dass die zu optimierenden Anweisungen Teil der Vorlage sind und dass auf die Daten pro Stichprobe verwiesen wird. {{name}}

You are an assistant for {TASK}. The conversation may proceed through phases:
1. {PHASE_1} — ...
2. {PHASE_2} — ...
3. {PHASE_3} — ...
(...the entire multi-phase policy, tool-use rules, tone, formatting, refusal rules...)

Conversation so far (turns 1..N-1, with role tags):
{{conversation_so_far}}

User's current message:
{{user_query}}

Form der Probe (Sonde an einer beliebigen Kurve N)

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n[tool_call: X(...)]\n... (turns 1..N-1)"},
        {"user_query": "...the user input at turn N..."}
    ],
    "referenceResponse": "...desired assistant output at turn N..."
}

Warum Muster B besser funktionieren kann als Muster A

Vorbehalte für Muster B

Tool-call Überprüfung an einer bestimmten Stelle

Der Dienst sieht die Textausgabe des Assistenten. Um zu bewerten, „Hat das Modell in Kurve N das Tool X mit den richtigen Argumenten aufgerufen“, wählen Sie eines aus:

Informationen zu zusammengesetzten Kriterien, die sich über viele Spielzüge oder viele Unterprüfungen erstrecken (Korrektheit des Werkzeugs, Ton und Vollständigkeit), finden Sie im Multi-objective Optimierung Abschnitt.

Empfohlener Pfad

Wann sollte Advanced Prompt Optimization nicht für Multi-Turn verwendet werden

Checkliste für Einsteiger