基本推理代理程式 - AWS 方案指引
Architecture說明功能限制常用案例實作指引SummaryArchitecture說明功能常用案例實作指引Summary

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

基本推理代理程式

基本推理代理程式是最簡單的代理式 AI 形式，可執行邏輯推論或決策以回應查詢。它接受來自使用者或系統的輸入，並使用結構化提示處理查詢和產生回應。

此模式適用於需要根據指定內容進行單一步驟推理、分類或摘要的任務。它不使用記憶體、工具或狀態管理，這使得它在大型工作流程中無狀態、輕量且高度組合。

Architecture

下圖顯示基本推理代理程式的流程：

基本推理代理程式。

說明

  1. 接收輸入

    • 使用者、系統或上游代理程式提交查詢或指示。

    • 輸入會移交給代理程式 shell 或協同運作層。

    • 此步驟包含任何預先處理、提示範本和目標識別。

  2. 叫用 LLM

    • 代理程式會將查詢轉換為結構化提示，並將其傳送至 LLM （例如，透過 Amazon Bedrock)。

    • LLM 會根據使用預先訓練知識和內容的提示產生回應。

    • 產生的輸出可能包括推理步驟 chain-of-thought)、最終答案或排名選項。

  3. 傳回回應

    • 產生的輸出會轉送至客服人員的界面。

    • 這可能包括格式化、後製處理或 API 回應。

功能

  • 支援自然語言或結構化輸入

  • 使用提示詞工程來引導行為

  • 無狀態且可擴展

  • 可以嵌入 UI、CLI、APIs 和管道

限制

  • 沒有記憶體或歷史意識

  • 與外部工具或資料來源沒有互動

  • 僅限於 LLM 在推論時知道的內容

常用案例

  • 對話式問題和答案

  • 政策說明和摘要

  • 制定決策的指引

  • 輕量且自動化的聊天機器人流程

  • 分類、標記和評分

實作指引

您可以使用下列工具和服務來建立基本推理代理程式：

  • Amazon Bedrock for LLM 調用 (Anthropic、AI21、Meta)

  • Amazon API Gateway 或 AWS Lambda 將其公開為無狀態微服務

  • 儲存在參數存放區 AWS Secrets Manager或做為程式碼的提示範本

Summary

基本推理代理程式的基礎在於其簡單結構。它具有核心功能，可將目標轉換為導致智慧輸出的推理路徑。此模式通常是進階模式的起點，例如使用擷取擴增產生 (RAG) 的工具型代理程式和代理程式。它也是大型工作流程中可靠且模組化的元件。

代理程式 RAG

Retrieval-augmented Generation (RAG) 是一種將資訊擷取與文字產生結合的技術，以建立準確且情境式的回應。RAG 可讓客服人員先擷取相關的外部資訊，再與 LLM 互動。它將代理程式的決策以up-to-date、事實或特定網域資訊為基礎，藉此擴展代理程式的有效記憶體和推理準確性。與僅依賴預先訓練權重的無LLMs 相反，RAG 具有外部知識搜尋層，可動態增強具有內容的提示。

Architecture

RAG 模式的邏輯如下圖所示：

代理程式 RAG。

說明

  1. 接收查詢

    • 使用者或上游系統向客服人員提交查詢或目標。

    • 代理程式 shell 接受請求並將其格式化為推理提示。

  2. 搜尋外部來源

    • 代理程式會從查詢中識別概念和意圖。

    • 它會使用語意搜尋或關鍵字比對來查詢知識來源，例如向量存放區、資料庫或文件索引。

    • 擷取最相關的段落、文件或實體，以供下一個步驟使用。

  3. 產生內容式回應

    • 代理程式使用擷取的資訊增強提示，形成 LLM 的內容增強輸入。

    • LLM 使用生成推理 （例如chain-of-thought或反射鏈） 處理任何輸入，以產生準確的回應。

  4. 傳回最終輸出

    • 代理程式會將其包裝在任何通訊標頭或必要的格式中，然後傳回給使用者或呼叫系統，以準備輸出。

    • （選用） 擷取的文件和 LLM 輸出可能會記錄、計分並存放在記憶體中，以供未來查詢使用。

功能

  • 即使在長尾或企業特定網域中也是事實基礎的輸出

  • 記憶體擴充功能，無需微調模型

  • 根據每個查詢和使用者狀態的動態內容

  • 與向量資料庫、語意索引和中繼資料篩選完全相容

常用案例

  • 企業知識助理

  • 法規合規機器人

  • 客戶支援 Copilot

  • 搜尋增強型聊天機器人

  • 開發人員文件代理程式

實作指引

使用下列工具和服務來建立使用 RAG 的代理程式：

  • Amazon Bedrock for LLM 調用

  • 適用於文件或結構化資料搜尋的 Amazon Kendra、OpenSearch 或 Amazon Aurora

  • 文件儲存的 Amazon Simple Storage Service (Amazon S3)

  • AWS Lambda 協調搜尋、提示和 LLM 推論

  • 知識型整合與代理程式 （使用記憶體外掛程式、語意擷取器或 Amazon Bedrock)

Summary

代理程式 RAG 將靜態模型推理連接到動態、真實世界的智慧。它讓客服人員能夠查詢他們不知道的內容、從擷取的知識合成答案，並產生高可稽核的可靠回應。

RAG 模式是建置智慧型代理程式的基礎，無需重新訓練即可擴展知識存取。它通常是涉及工具使用、規劃和長期記憶體的更複雜協同運作模式的前綴。