伺服器的工具型代理程式 - AWS 方案指引
Architecture說明功能常用案例實作指引Summary

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

伺服器的工具型代理程式

伺服器的工具型代理程式透過將工具執行委派給具有工具、指令碼和複合代理程式專用執行時間環境的外部伺服器，來增強函數呼叫代理程式。與代理程式迴圈選取和調用的內嵌函數呼叫不同，伺服器型代理程式會將邏輯和執行管道外包給其他代理程式或系統。這提供了進階功能，例如多工具鏈結、隔離執行和專業推理。工具伺服器非常適合複雜、具狀態或資源密集型的動作，其中工具本身可能涉及不同的 AI 模型、商業規則或環境。

Architecture

以下是伺服器的工具型代理程式模式：

伺服器的工具型代理程式。

說明

  1. 接收查詢

    • 使用者或系統向客服人員 shell 提交請求。

    • 代理程式會解譯查詢，並準備將其分派至工具伺服器。

  2. 執行工具伺服器程序

    • 代理程式會將任務連同結構化參數傳送至工具伺服器。

    • 工具伺服器接著可能會：

      • 在專用運算系統中執行指令碼或邏輯 （例如 AWS Lambda，容器或 Amazon SageMaker)

      • 使用自己的子代理程式搭配 LLM 推理來選取和執行工具

      • 管理相依性、重試或多步驟執行流程

      • 當任務完成時，將結果輸出至主要代理程式

  3. 搭配工具輸出使用 LLM 推理

    • 代理程式會叫用 LLM，傳遞原始查詢和工具伺服器結果做為提示的一部分。

    • LLM 會合成包含新取得資訊的回應。

  4. 傳回回應

    • 客服人員會傳回自然語言或結構化回應給使用者或呼叫系統。

    • （選用） 結果可能會存放在記憶體或稽核日誌中。

功能

  • 在主要代理程式執行迴圈之外叫用工具

  • 工具執行可能涉及 LLM 呼叫、邏輯鏈或子代理程式

  • 代理程式充當控制器或分派程式，而不只是工具包裝函式

  • 啟用可編譯性、可擴展性和邏輯隔離

常用案例

  • 協調模型鏈 （例如，透過結合 LLM、視覺和程式碼）

  • AI 驅動的自動化管道

  • 具有指令碼執行器的 DevOps 助理代理程式

  • 複雜的財務運算、模擬或最佳化代理程式

  • 多模式工具 （例如，透過結合音訊、文件和動作）

實作指引

您可以使用下列方式建置此模式 AWS 服務：

  • Amazon Bedrock （代理程式主機和 LLM 推論）

  • AWS Lambda、Amazon ECS AWS Fargate或 Amazon SageMaker 端點作為工具伺服器執行時間

  • Amazon API Gateway 或 AWS App Runner 公開工具伺服器 APIs

  • 用於解耦agent-to-toolAmazon EventBridge

  • AWS Step Functions 或 AWS AppFabric 用於在工具伺服器上編寫多代理程式邏輯

Summary

使用伺服器的工具型代理程式具有高度模組化和可擴展性。它們會將決策邏輯與執行分離，這可讓主要代理程式保持輕量，同時將複雜或敏感的動作卸載至其他系統。這對企業級代理式 AI 很重要，尤其是在需要控管、可觀測性、隔離、動態合成或其任何組合的環境中。