記憶體增強型代理程式 - AWS 方案指引
Architecture說明功能常用案例實作經記憶體驗證的代理程式實作記憶體注入提示Summary

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

記憶體增強型代理程式

記憶體增強了使用短期和長期記憶體來儲存、擷取和原因的能力。這可讓他們維持跨多個任務、工作階段和互動的內容，進而產生更一致、個人化的策略回應。

與無狀態代理程式不同，記憶體增強型代理程式會透過參考歷史資料、從先前的結果中學習，以及做出符合使用者目標、偏好設定和環境的決策來進行調整。

Architecture

下圖顯示記憶體增強型代理程式：

記憶體增強型代理程式。

說明

  1. 接收輸入或事件

    • 客服人員會收到使用者查詢或系統事件。這可能是文字、API 觸發條件或環境變更。

  2. 擷取短期記憶體

    • 客服人員會擷取最近的對話歷史記錄、任務內容，或與工作階段或工作流程相關的系統狀態。

  3. 擷取長期記憶體

    • 代理程式會查詢長期記憶體 （例如向量資料庫和鍵值存放區） 以取得歷史洞見，例如：

      • 使用者偏好設定

      • 過去的決策和結果

      • 已學習的概念、摘要或體驗

  4. 透過 LLM 的原因

    • 記憶體內容內嵌在 LLM 提示中，允許代理程式根據目前輸入和先前的知識進行推理。

  5. 產生輸出

    • 代理程式會產生上下文感知的回應、計劃或動作，根據任務歷史記錄和使用者的輸入進行個人化。

  6. 更新記憶體

    • 更新的目標、成功和失敗訊號，以及結構化回應等新資訊都會存放以供未來任務使用。

功能

  • 對話或事件間的工作階段持續性

  • 目標隨時間的持久性

  • 根據不斷發展狀態的情境感知

  • 先前成功和失敗通知的適應性

  • 符合使用者偏好設定和歷史記錄的個人化

常用案例

  • 記住使用者偏好設定的對話式 copilot

  • 追蹤程式碼庫變更的編碼代理程式

  • 根據任務歷史記錄調整的工作流程代理程式

  • 從系統知識發展的數位分身

  • 避免備援擷取的研究代理程式

實作經記憶體驗證的代理程式

將下列工具和 AWS 服務 用於記憶體增強型代理程式：

記憶體層

AWS 服務

用途

短期

Amazon DynamoDB、Redis、Amazon Bedrock 內容

快速擷取最近的互動狀態

長期 （結構化）

Amazon Aurora、Amazon DynamoDB、Amazon Neptune

事實、關係和日誌

長期 （語意）

OpenSearch、PostgreSQL、Pinecone

內嵌型擷取 （即 RAG)

儲存

Amazon S3

儲存文字記錄、結構化記憶體和檔案

協同運作

AWS Lambda 或 AWS Step Functions

管理記憶體注入和更新生命週期

推理

Amazon Bedrock

具有記憶體提示的 Anthropic Claude 或 Mistral

實作記憶體注入提示

若要將記憶體整合到代理程式推理中，請使用結構化狀態和擷取擴增內容注入的組合：

  • 在建構語言模型的提示時，包含最新的客服人員狀態和最近的對話歷史記錄做為結構化輸入，因此它可以具有完整內容。

  • 使用擷取擴增產生 (RAG) 從長期記憶體中提取相關文件或事實。

  • 摘要先前的計畫、內容和互動以進行壓縮和相關性。

  • 在推論期間注入外部記憶體模組，例如向量存放區或結構化日誌，以引導決策。

Summary

記憶體增強型代理程式透過從經驗中學習並記住使用者內容來維持思維持續性。這些客服人員使用長期協作、個人化和策略推理，超越被動式智慧。在代理式 AI 方面，記憶體可讓代理程式表現得更像是適應性數位對等，更不像無狀態工具。