本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
提示链接传奇模式
通过将 LLM 提示链重新构想为一个事件驱动的传奇,我们解锁了一种新的运营模式:工作流程变得分散、可恢复,并且可以跨自治代理进行语义协调。每个提示响应步骤都被重新定义为原子任务,作为事件发出,由专用代理使用,并富含上下文元数据。
下图是 LLM 提示符链接的示例:
saga 编配
传奇编舞模式是一种在没有中央协调器的分布式系统中的实现方法。相反,每个服务或组件都会发布触发下一个工作流程操作的事件。这种模式广泛用于分布式系统中,用于管理跨多个服务的交易。在传奇中,该系统运行了一系列协调的本地交易。如果一个失败,系统会触发补偿操作以保持一致性。
下图是传奇编舞的示例:
-
预留库存
-
授权付款
-
创建配送订单
如果步骤 3 失败,系统将调用补偿操作(例如,取消付款或发放库存)。
这种模式在事件驱动架构中特别有价值,在这种架构中,服务是松散耦合的,即使存在部分故障,也必须随着时间的推移一致地解析状态。
提示链接模式
提示链接在结构和目的上都类似于传奇模式。它执行一系列推理步骤,这些步骤按顺序构建,同时保留上下文并允许回滚和修订。
特工编舞
-
LLM 解释复杂的用户查询并生成假设
-
法学硕士详细制定了解决任务的计划
-
LLM 执行子任务(例如,通过使用工具调用或检索知识)
-
如果LLM认为结果不令人满意,则会完善输出或重新审视之前的步骤
如果中间结果存在缺陷,则系统可以执行以下操作之一:
-
使用其他方法重试这些步骤
-
恢复到之前的提示并重新计划
-
使用赋值器循环(例如,来自赋值器-优化器模式)来检测和纠正故障
与传奇模式一样,提示链接允许部分进度和回滚机制。这是通过迭代优化和 LLM 指导的校正来实现的,而不是通过补偿数据库事务来实现的。
下图是特工编舞的示例:
-
用户通过 SDK 提交查询。
-
Amazon Bedrock 代理通过以下方式精心策划推理:
-
口译(法学硕士)
-
规划(法学硕士)
-
通过工具或知识库执行
-
响应构建
-
-
如果工具出现故障或返回的数据不足,代理可以动态地重新计划或重新表述任务。
-
内存(例如,短期向量存储)可以跨步骤保持其状态
外卖
传奇模式使用补偿逻辑管理分布式服务调用,而提示链则通过反射式排序和自适应重新规划来管理推理任务。这两个系统都允许渐进式进展、分散的决策点和故障恢复,所有这些都是通过明智的推理而不是僵硬的回滚来实现的。
提示链接引入了交易推理,这在认知上等同于传奇。也就是说,作为更广泛的目标导向对话的一部分,每个 “想法” 都会被重新评估、修改或放弃。