平行化的工作流程 - AWS 方案指引

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

平行化的工作流程

此工作流程涉及將任務細分為可由多個 LLM 呼叫或客服人員同時處理的獨立子任務。然後,輸出會以程式設計方式彙總並合成為結果。

平行化的工作流程。

當任務可分為可同時處理的獨立、非循序子任務時,會使用平行化工作流程,大幅提高效率、輸送量和可擴展性。它在大量資料、批次導向或多視角問題空間中特別強大,其中代理程式必須分析或跨多個輸入產生內容。

在下列情況下,平行化特別有效:

  • 子任務不依賴彼此的中繼結果,允許它們在沒有協調的情況下平行執行。

  • 任務涉及跨許多項目重複相同的推理程序 (例如,摘要多個文件或評估選項清單)。

  • 並行探索多個假設或觀點,以促進多樣性、創造力或穩健性。

  • 您需要透過並行 LLM 執行來減少大量或高頻率請求的延遲。

  • 此工作流程通常用於文件處理代理程式、問卷或比較引擎、批次摘要器、多代理程式腦力激盪器,以及可擴展的分類或標籤任務,特別是快速、平行推理是效能優勢的情況。

功能

  • LLM 任務的平行執行 (使用 AWS Lambda AWS Fargate或 AWS Step Functions 映射狀態)

  • 在合成階段需要結果對齊、驗證或重複資料刪除

  • 非常適合無狀態代理程式迴圈

常用案例

  • 平行分析多個文件或觀點

  • 產生各種草案、摘要或計劃

  • 加速批次任務的輸送量