評估器反射-改進迴圈模式 - AWS 方案指引
回饋控制迴圈回饋控制迴圈 （評估器）評估者要點

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

評估器反射-改進迴圈模式

程式碼產生、摘要或自動決策等任務從執行階段意見回饋中獲益良多，讓系統能夠透過觀察和改進進行發展。若要操作此項目，反射改善週期可以實作為事件驅動型意見回饋控制迴圈，這是受系統工程啟發的模式，適用於自動化、智慧型工作流程。

下圖是評估器反射改善意見回饋迴圈的範例：

評估器反射-微調回饋迴圈。

回饋控制迴圈

回饋控制迴圈是一種模式，可監控自己的輸出和行為、根據定義的條件或所需狀態進行評估，然後相應地調整其動作。此架構受到控制理論的啟發，是自動化、持續整合和持續交付 (CI/CD) 管道和機器學習操作等領域的基礎。

下圖是回饋控制迴圈的範例：

回饋控制迴圈。

  1. 部署管道會發出 buildComplete 事件。

  2. 事件會觸發驗證建置的自動化測試或評估任務。

  3. 如果驗證失敗 （例如，由於測試失敗、安全問題或違反政策），系統：

    • 發出 buildComplete 事件

    • 記錄問題或傳送通知

    • 觸發修復或修正動作，例如復原、修補或重試

迴圈會持續進行，直到產生可接受的結果或呈報，或發生逾時為止。此模式通常用於下列項目：

  • 將事件路由至評估或修復任務的 Amazon EventBridge 規則

  • AWS Step Functions 用於反覆重試邏輯和評估結果的分支

  • 用於意見回饋觸發和警示的 Amazon Simple Notification Service (Amazon SNS) 或 Amazon CloudWatch 警示

  • AWS Lambda 套用修正動作的 函數或容器化工作者

回饋控制迴圈 （評估器）

評估器工作流程是由 LLMs或推理代理程式提供支援的認知回饋迴圈。此程序包含下列項目：

  1. 產生器代理程式或 LLM 會產生輸出 （例如，計劃、回答或草稿）。

  2. 評估者代理程式會使用 critique 提示或評估 rubric 來檢閱結果。

  3. 根據意見回饋，原始代理程式或新的最佳化工具代理程式會修改輸出。

迴圈會重複，直到結果符合一組條件、獲得核准或達到重試限制為止。

評估者

  1. 使用者要求客服人員撰寫政策摘要。

  2. 產生器代理程式會草擬它。

  3. 評估者代理程式會檢查涵蓋範圍、語氣和法律正確性。

  4. 如果回應不足，則會進行微調並重新提交，直到回饋迴圈收斂為止。

這可啟用自我評估、反覆精簡和調適性輸出控制，無需人工輸入。

下圖是回饋控制迴圈 （評估者） 的範例：

回饋控制迴圈 （評估器）。

  1. 使用者發出任務 （例如，草擬業務策略）。

  2. Amazon Bedrock 代理程式會使用 LLM 產生初始草稿。

  3. 第二個客服人員 （或後續提示） 會執行結構化評估 （例如，「透過清晰度、完整性和音調來評分此輸出」)。

  4. 如果評分低於閾值，回應的修訂方式如下：

    • 使用內嵌的 critique 叫用產生器

    • 將意見回饋傳送至專門的精簡器代理程式

    • 反覆運算，直到達到可接受的回應為止

AWS Lambda 控制器或 等選用元件 AWS Step Functions 可以管理意見回饋閾值、重試和備用策略。

要點

當傳統回饋控制迴圈使用事件、指標和修復邏輯來驗證和調整系統行為時，代理程式評估程式迴圈會使用推理代理程式來動態評估、反映和修訂輸出。

在這兩個範例中：

  • 輸出會在產生後進行評估

  • 根據意見回饋觸發修正或精簡動作

  • 系統會持續適應目標品質或目標

代理程式版本會將靜態驗證轉換為語意反射，讓自我改善的代理程式能夠評估自己的有效性。