本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
LLM 擴增的認知概觀
在其核心上,軟體代理程式的認知模組可以檢視為包裝在擴增中的 LLM。代理程式可以使用下列建置區塊,在其環境中有效地推理原因:
-
提示 – 使用內容、指示、範例和記憶體建立輸入架構
-
擷取 – 透過向量搜尋或語意記憶體為 LLM 提示提供up-to-date或特定領域的知識,例如透過擷取擴增產生 (RAG)
-
工具使用 – 讓 LLM 叫用 APIs或呼叫函數以擷取資訊或對資訊採取行動
-
記憶體 – 使用結構化資料庫或內容摘要,將持久性或以工作階段為基礎的狀態納入推理迴圈
這些擴增是由工作流程組成,這些工作流程會定義 LLM 如何隨時間和跨任務使用,並將其從無狀態引擎轉換為動態推理代理程式。