

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 評估器反射改進迴圈模式
<a name="evaluator-reflect-refine-loop-patterns"></a>

程式碼產生、摘要或自動決策等任務從執行時間意見回饋中獲益良多，讓系統能夠透過觀察和改進進行發展。若要操作此項目，反射改善週期可以實作為事件驅動型意見回饋控制迴圈，這是受系統工程啟發的模式，適用於自動化、智慧型工作流程。

下圖是評估器反射改善意見回饋迴圈的範例：

![\[評估器反射-改進回饋迴圈。\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-for-evaluator.png)


## 回饋控制迴圈
<a name="feedback-control-loop"></a>

回饋控制迴圈是一種模式，可監控自己的輸出和行為、根據定義的條件或所需狀態進行評估，然後相應地調整其動作。此架構受到控制理論的啟發，是自動化、持續整合和持續交付 (CI/CD) 管道和機器學習操作等領域的基礎。

下圖是回饋控制迴圈的範例：

![\[回饋控制迴圈。\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-patterns-feedback-control-loop.png)


1. 部署管道會發出 buildComplete 事件。

1. 事件會觸發驗證建置的自動化測試或評估任務。

1. 如果驗證失敗 （例如，由於測試失敗、安全問題或違反政策），系統：
   + 發出 buildComplete 事件
   + 記錄問題或傳送通知
   + 觸發修復或修正動作，例如復原、修補或重試

迴圈會持續進行，直到產生可接受的結果或呈報，或發生逾時為止。此模式通常用於下列項目：
+ 將事件路由至評估或修復任務的 Amazon EventBridge 規則
+ AWS Step Functions 用於反覆重試邏輯和評估結果的分支
+ 用於意見回饋觸發和警示的 Amazon Simple Notification Service (Amazon SNS) 或 Amazon CloudWatch 警示
+ AWS Lambda 套用修正動作的 函數或容器化工作者

## 回饋控制迴圈 （評估器）
<a name="feedback-control-loop-evaluator"></a>

評估器工作流程是由 LLMs或推理代理程式提供支援的認知回饋迴圈。程序包含下列項目：

1. 產生器代理程式或 LLM 會產生輸出 （例如，計劃、回答或草稿）。

1. 評估者代理程式會使用 critique 提示或評估 rubric 來檢閱結果。

1. 根據意見回饋，原始代理程式或新的最佳化工具代理程式會修改輸出。

迴圈會重複，直到結果符合一組條件、獲得核准或達到重試限制為止。

## 評估者
<a name="evaluator"></a>

1. 使用者要求客服人員撰寫政策摘要。

1. 產生器代理程式會草擬它。

1. 評估者代理程式會檢查涵蓋範圍、語氣和法律正確性。

1. 如果回應不足，則會進行微調並重新提交，直到回饋迴圈收斂為止。

這可啟用自我評估、反覆精簡和適應性輸出控制，無需人工輸入。

下圖是意見回饋控制迴圈 （評估者） 的範例：

![\[回饋控制迴圈 （評估器）。\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/agentic-ai-patterns/images/workflow-patterns-evaluator.png)


1. 使用者發出任務 （例如，草擬業務策略）。

1. Amazon Bedrock 代理程式會使用 LLM 產生初始草稿。

1. 第二個代理程式 （或後續提示） 會執行結構化評估 （例如，「透過清晰度、完整性和音調對此輸出進行評分」)。

1. 如果評分低於閾值，回應的修訂方式如下：
   + 使用內嵌的 critique 叫用產生器
   + 將意見回饋傳送至專門的精簡器代理程式
   + 反覆運算，直到達到可接受的回應為止

 AWS Lambda 控制器或 等選用元件 AWS Step Functions 可以管理意見回饋閾值、重試和備用策略。

## 要點
<a name="takeaways-evaluator"></a>

當傳統回饋控制迴圈使用事件、指標和修復邏輯來驗證和調整系統行為時，代理程式評估程式迴圈會使用推理代理程式來動態評估、反映和修訂輸出。

在這兩個範例中：
+ 輸出會在產生後進行評估
+ 根據意見回饋觸發修正或精簡動作
+ 系統會持續適應目標品質或目標

代理程式版本會將靜態驗證轉換為語意反射，讓自我改善的代理程式能夠評估自己的有效性。