View a markdown version of this page

提示鏈結 saga 模式 - AWS 方案指引
系列事件編排提示鏈結模式客服人員編排要點

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

提示鏈結 saga 模式

透過將 LLM 提示鏈結重新想像為事件驅動的同義詞，我們解鎖了新的操作模型：工作流程會在自主代理程式之間進行分散式、可復原和語義協調。每個提示回應步驟都會重新建構為原子任務、發出為事件、由專用代理程式耗用，以及充實內容中繼資料。 

下圖是 LLM 提示鏈結的範例：

LLM 提示鏈結。

系列事件編排

saga 編排模式是沒有中央協調器的分散式系統中的實作方法。反之，每個服務或元件都會發佈觸發下一個工作流程動作的事件。此模式廣泛用於分散式系統中，以管理跨多個服務的交易。在 saga 中，系統會執行一系列協調的本機交易。如果失敗，系統會觸發補償動作以維持一致性。

下圖是 saga 編排的範例：

Saga 編排。

  1. 預留庫存

  2. 授權付款

  3. 建立運送訂單

如果步驟 3 失敗，系統會叫用補償動作 （例如取消付款或釋出庫存）。 

此模式在事件驅動型架構中特別重要，其中服務鬆散耦合，而且即使存在部分故障，狀態仍必須隨著時間持續解決。

提示鏈結模式

提示鏈結在結構和目的上都類似 saga 模式。它會執行一系列推理步驟，這些步驟會依序建置，同時保留內容並允許轉返和修訂。

客服人員編排

  1. LLM 解譯複雜的使用者查詢並產生假設

  2. LLM 詳細說明解決任務的計畫

  3. LLM 執行子任務 （例如，使用工具呼叫或擷取知識）

  4. 如果 LLM 認為結果不滿意，則會精簡輸出或重新檢視較早的步驟

如果中繼結果有瑕疵，系統可以執行下列其中一項操作：

  • 使用不同的方法重試步驟

  • 還原至先前的提示並重新規劃

  • 使用評估者迴圈 （例如，從評估者最佳化工具模式） 來偵測和修正失敗

如同 saga 模式，提示鏈結允許部分進度和回復機制。透過反覆精簡和 LLM 導向的更正，而不是補償資料庫交易，就會發生這種情況。

下圖是客服人員編排的範例：

客服人員編排。

  1. 使用者透過 SDK 提交查詢。

  2. Amazon Bedrock 代理程式會協調推理下列各項：

    • 解譯 (LLM)

    • 規劃 (LLM)

    • 透過工具或知識庫執行

    • 回應建構

  3. 如果工具失敗或傳回的資料不足，代理程式可以動態重新規劃或重述任務。

  4. 記憶體 （例如，短期向量存放區） 可以跨步驟保留其狀態

要點

當 saga 模式使用補償邏輯管理分散式服務呼叫時，提示鏈結會使用反射排序和適應性重新規劃來管理推理任務。這兩個系統都允許累加式進度、分散式決策點和故障復原，並透過明智的推理而非嚴格復原來執行所有操作。

提示鏈結引入交易推理，這是相當於 sagas 的認知。也就是說，在更廣泛的目標導向對話中，每個「想法」都會重新評估、修訂或捨棄。