路由動態分派模式 - AWS 方案指引
動態分派以 LLM 為基礎的路由代理程式路由器要點

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

路由動態分派模式

在現代代理程式系統中，任務範圍從文件剖析到自動軟體產生，將請求動態路由到功能最強大的大型語言模型 (LLM) 或代理程式的能力變得至關重要。靜態路由邏輯通常內嵌在協同運作指令碼或 API 層中，缺乏即時、多模型、多功能環境所需的適應性。為了解決這個問題，LLM 路由工作流程可以轉換為事件驅動型架構，利用動態分派模式，將 LLM 呼叫轉換為智慧路由、內容感知的事件。

下圖是 LLM 路由的範例：

LLM 路由。

動態分派

在傳統分散式系統中，動態分派模式會根據傳入事件屬性，例如事件類型、來源和承載，在執行時間選取和叫用特定服務。這通常使用 Amazon EventBridge 實作，可評估傳入事件並將其路由至適當的目標 （例如 AWS Lambda 函數 AWS Step Functions或 Amazon Elastic Container Service 任務）。

下圖是動態分派的範例：

動態分派。

  1. 應用程式發出事件 （例如 {"type"： "orderCreated"， "priority"： "high"})。

  2. Amazon EventBridge 會根據其路由規則評估事件。

  3. 根據事件的屬性，系統會動態分派至下列項目：

    • HighPriorityOrderProcessor （服務 A)

    • StandardOrderProcessor （服務 B)

    • UpdateOrderProcessor （服務 C)

此模式支援鬆耦合、網域型專業化和執行時間擴充性。這可讓系統以智慧方式回應不斷變化的需求和事件語意。

以 LLM 為基礎的路由

在代理系統中，路由也會執行動態任務委派，但 LLM 會透過自然語言來分類和解譯使用者的意圖，而不是 Amazon EventBridge 規則或中繼資料篩選條件。結果是靈活、語意和適應性的分派形式。

代理程式路由器

此架構可在沒有預先定義的結構描述或事件類型的情況下啟用豐富的意圖型分派，非常適合非結構化輸入和複雜的查詢。

  1. 使用者提交請求「您可以協助我檢閱我的合約條款嗎？」

  2. LLM 將此解譯為法律文件任務。

  3. 代理程式會將任務路由到下列一或多個項目：

    • 合約檢閱提示範本

    • 法律推理子代理程式

    • 文件剖析工具

下圖是 代理程式路由器的範例：

代理程式路由器。

  1. 使用者透過 SDK 提交自然語言請求。

  2. Amazon Bedrock 代理程式使用 LLM 來分類任務 （例如，法律、技術或排程）。

  3. 代理程式會透過動作群組動態路由任務，以叫用所需的代理程式：

    • 網域特定代理程式

    • 專用工具鏈

    • 自訂提示組態

  4. 選取的處理常式會處理任務，並傳回量身打造的回應。

要點

當傳統動態分派使用 Amazon EventBridge 規則根據結構化事件屬性進行路由時，代理程式路由會使用 LLMs 根據意義和意圖以語意方式分類和路由任務。這可透過啟用下列項目來擴展系統的靈活性：

  • 更廣泛的輸入理解

  • 智慧型備用和工具選擇

  • 透過新的客服人員角色或提示樣式的自然可擴展性

代理路由使用動態認知分派取代剛性規則，這可讓系統以語言而非程式碼演進。