本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

高级主题和策略

本页面上的主题

Multi-objective 优化

高级提示优化每次运行接受一个指标——每个样本只有一个标量分数。但是，它隐含地支持多目标（多维）优化：您可以将多个目标捆绑到一个标量（复合指标）中，该服务会针对该捆绑优化提示。本节介绍我们推荐的模式、每种模式何时合适，以及需要注意的故障模式。

这适用于所有垂直领域——任何你同时关心多件事的地方：准确性 + 语气、工具调用正确性 + 安全性、忠诚度 + 简洁、延迟友好度 + 完整性等等。

为什么一个指标实际上是多目标的

关于该系统的两个事实使它发挥了作用：

因此，“每次运行一个指标” 是关于信号形状的合约，而不是对您可以优化的范围的限制。

将多个目标捆绑到单个指标中的模式

根据您的目标彼此之间的关系选择一个。

模式 1 — 加权总和（最常见）

final = w₁·s₁ + w₂·s₂ + ... + wₖ·sₖ，权重之和为 1。

何时使用：目标大致独立，你可以对它们进行排名。 Trade-offs 是可以接受的——只要金额增加，以牺牲另一个为代价来改进一个是可以的。

选择权重：

示例（代理/工具使用）：

final = 0.5 * tool_correctness + 0.3 * answer_correctness + 0.2 * format_compliance

模式 2 — Hard-fail 大门（安全关键）

定义一个或多个门控目标。如果任何大门失效，则无论其余大门如何，分数均为 0（或某个楼层）。否则，分数是剩余目标的加权总和。

if not safety_check_passed:
    return 0.0
if wrong_tool_called_for_destructive_action:
    return 0.0
return 0.6 * accuracy + 0.4 * tone

何时使用：至少有一个目标是不可商量的（个人身份信息泄露、修改了错误的账户、拒绝违禁内容）。在 “平均水平良好” 的提示不可接受时，即使偶尔也无法达到安全栏，则使用此选项。

为什么这胜过刚刚加权：仅凭权重，优化器就可以在安全与质量之间进行权衡，同时还能爬坡得分。大门使施工无法进行权衡。

模式 3 — 约束 + 奖励 (Pareto-style)

选择最重要的目标作为奖励。其余部分表示为约束条件，当违反这些限制时，从奖励中减去（而不是将其归零）。

reward = task_accuracy
penalty = 0.0
if response_too_long:
    penalty += 0.1
if missed_required_disclosure:
    penalty += 0.2
return max(0.0, reward - penalty)

何时使用：你想让一个主要目标发挥领导作用，但软次要目标仍应影响提示音。不如硬门脆弱，不如加权总和那么模棱两可。

图案 4 — Lambda 外 LLM-as-a-Judge 部、内部（推荐用于模糊 + 结构混合）

Lambda 指标计算确定性子分数（正则表达式、JSON 解析、架构验证），并对 Lambda 函数内部的模糊部分（语气、忠实度、乐于助人）调用 LLM-as-a-Judge 子评估。然后它将它们聚合成一个标量。

def compute_score(prompt, prediction, gold, ...):
    structural = grade_format_and_tools(prediction)        # 0..1 from regex
    semantic   = call_llm_judge(prediction, gold, criteria) # 0..1 from LLMJ
    if structural < 1.0 and is_safety_critical(prompt):
        return 0.0
    return 0.6 * semantic + 0.4 * structural

何时使用：你的目标是 “易于在代码中测试”（格式、工具名称、长度、引文的存在）和 “需要模型来判断”（语气、忠诚度、乐于助人）相结合。这通常比要求一个 LLM-as-a-Judge 提示生成单个综合分数更简洁，因为确定性部分不会在运行中出现偏差。

模式 5 — Multi-dimension LLM-as-a-Judge （没有 Lambda）

使用内置 LLM-as-a-Judge 流程，也可以使用定义customLLMJConfig.customLLMJPrompt您自己的尺寸和权重的。法官发出每维分数和Overall；系统解析为 [0, 1] 标量Overall（如果缺失Overall则求平均维度）。

何时使用：你所有的目标都是语义/模糊的，你没有确定性的子检查。作者速度最快。注意判断方差 — 重新运行同一个数据集两次，在将其视为优化信号之前，先检查分数稳定性。

选择图案

你可以组合图案。典型的生产指标是 “加权总和+安全方面的硬性失效门槛”。

需要注意的故障模式

Pre-launch 清单

优化多回合和分阶段提示

高级提示优化针对每个样本的评估对单个提示模板进行了优化。它本身不是回合感知——它无法在对话框中进行迭代或在特定回合处优化行为。分阶段提示是一种提示模板，其中多回合对话或工作流程在各个回合中重复使用相同的提示，提示本身包含工作流程的每个阶段、步骤或阶段的说明。要优化这些提示，请将对话框状态扁平化为模板的输入变量，将要细化的系统指令烘焙成细化后的系统指令promptTemplate，然后使用每个样本的参考响应探讨您真正关心的转变。

这种模式与垂直无关。它适用于在不断增长的环境中反复调用模型的任何地方，包括客户服务流程、代理工具使用循环、多步骤推理、辅导、代码助手轮换、以文档为基础的质量保证、分类工作流程等。

高级提示优化实际上优化了什么

任何你想要优化的东西都必须promptTemplate存在于自身内部。每个样本（对话历史记录、当前用户查询、检索到的上下文）会有所不同{{variables}}。你想要完善的系统指令是模板的一部分，从来都不是输入变量，或者服务没有什么可重写的。

如果您希望服务改善第 N 回合的行为，请将回合 N 表示为一个样本的渲染提示加输入变量，并以此作为所需的回合 referenceResponse N 模型输出。

模式 A — Stage-at-a-time （推荐初学者）

一次优化对话的一个阶段。每个评估样本代表该阶段内的单一决策点。

这里的 “阶段” 就是你可以用一套连贯的成功标准来描述什么。垂直示例：

何时使用模式 A

模板形状

特定阶段的系统指令已嵌入到模板中（这是服务重写的内容）。只有对话历史记录和当前回合是变量。以下结构仅供参考，未作规定。使用模型最能处理的任何分隔符或布局。唯一的要求是：（a）要优化的系统指令在模板内实时生效，以及（b）每个样本的变量引用为{{variablename}}。

You are an assistant in the {STAGE_NAME} phase of a multi-turn task.
- ...the policy / goals / format / tool-use rules for this phase...
- ...constraints the model must satisfy at this point in the conversation...

Conversation so far:
{{conversation_so_far}}

User's current message:
{{user_query}}

样本形状

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n... (turns 1..N-1)"},
        {"user_query": "...the user input that triggers this stage..."}
    ],
    "referenceResponse": "...the assistant output that satisfies the stage's success criteria..."
}

优缺点

优点：反馈信号强，提示更小，优化运行速度更快，更容易编写有针对性的指标。

缺点：无法发现跨阶段偏差；你将在每个阶段运行一次服务，可能需要进行最后的集成测试。

模式 B — 完全扁平化对话（高级）

优化一个拥有整个多阶段策略的大型单体提示音。每个样本都是完整的对话直至探针转弯。

何时使用模式 B

模板形状

完整的单片多相系统提示符实际上位于模板内部。该服务在优化期间重写此正文。历史和当前的回合仍然是可变的。选择您的模型可以很好地处理的任何布局；要求仅是要优化的指令是模板的一部分，并通过{{name}}引用每个样本的数据。

You are an assistant for {TASK}. The conversation may proceed through phases:
1. {PHASE_1} — ...
2. {PHASE_2} — ...
3. {PHASE_3} — ...
(...the entire multi-phase policy, tool-use rules, tone, formatting, refusal rules...)

Conversation so far (turns 1..N-1, with role tags):
{{conversation_so_far}}

User's current message:
{{user_query}}

样品形状（探头在任意转弯 N 处）

{
    "inputVariables": [
        {"conversation_so_far": "user: ...\nassistant: ...\n[tool_call: X(...)]\n... (turns 1..N-1)"},
        {"user_query": "...the user input at turn N..."}
    ],
    "referenceResponse": "...desired assistant output at turn N..."
}

为什么模式 B 能比模式 A 更好用

模式 B 的注意事项

Tool-call 在特定时刻进行验证

该服务会看到助手的文本输出。要对 “模型是否在第 N 回合使用正确的参数调用工具 X” 进行评分，请选择一个：

有关多轮或多次检查（工具正确性以及色调和完整性）的复合标准，请参阅本节。Multi-objective 优化

推荐路径

何时不对多回合使用高级提示优化

入门清单