本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
平行化的工作流程
此工作流程涉及將任務細分為可由多個 LLM 呼叫或客服人員同時處理的獨立子任務。然後,輸出會以程式設計方式彙總並合成為結果。
當任務可分為可同時處理的獨立、非循序子任務時,會使用平行化工作流程,大幅提高效率、輸送量和可擴展性。它在大量資料、批次導向或多視角問題空間中特別強大,其中代理程式必須分析或跨多個輸入產生內容。
在下列情況下,平行化特別有效:
-
子任務不依賴彼此的中繼結果,允許它們在沒有協調的情況下平行執行。
-
任務涉及跨許多項目重複相同的推理程序 (例如,摘要多個文件或評估選項清單)。
-
並行探索多個假設或觀點,以促進多樣性、創造力或穩健性。
-
您需要透過並行 LLM 執行來減少大量或高頻率請求的延遲。
-
此工作流程通常用於文件處理代理程式、問卷或比較引擎、批次摘要器、多代理程式腦力激盪器,以及可擴展的分類或標籤任務,特別是快速、平行推理是效能優勢的情況。
功能
-
LLM 任務的平行執行 (使用 AWS Lambda AWS Fargate或 AWS Step Functions 映射狀態)
-
在合成階段需要結果對齊、驗證或重複資料刪除
-
非常適合無狀態代理程式迴圈
常用案例
-
平行分析多個文件或觀點
-
產生各種草案、摘要或計劃
-
加速批次任務的輸送量