基于工具的服务器代理 - AWS 规范性指导
Architecture描述功能常见使用案例实施指导Summary

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

基于工具的服务器代理

基于工具的服务器代理通过将工具执行委托给具有专门用于工具、脚本和复合代理的运行环境的外部服务器来增强函数调用代理。与代理循环选择和调用的内联函数调用不同，基于服务器的代理将逻辑和执行管道外包给其他代理或系统。这提供了高级功能，例如多工具链接、隔离执行和专业推理。工具服务器非常适合复杂、有状态或资源密集型操作，在这些操作中，工具本身可能涉及单独的 AI 模型、业务规则或环境。

Architecture

以下是基于工具的服务器代理的模式：

基于工具的服务器代理。

描述

  1. 接收查询

    • 用户或系统向代理 shell 提交请求。

    • 代理解释查询并准备将其发送到工具服务器。

  2. 运行工具服务器进程

    • 代理将任务以及结构化参数发送到工具服务器。

    • 然后，工具服务器可以：

      • 在专用计算系统（例如，容器或 Amazon SageMaker）中运行脚本或逻辑 AWS Lambda

      • 使用自己的子代理和 LLM 推理来选择和运行工具

      • 管理依赖关系、重试或多步骤执行流程

      • 任务完成后将结果输出到主代理

  3. 在工具输出中使用 LLM 推理

    • 代理调用 LLM，将原始查询和工具服务器结果作为提示的一部分传递。

    • 法学硕士综合了包含新获得信息的响应。

  4. 返回响应

    • 代理向用户或呼叫系统返回自然语言或结构化响应。

    • （可选）结果可以存储在内存或审计日志中。

功能

  • 工具是在主代理执行循环之外调用的

  • 工具执行可能涉及 LLM 调用、逻辑链或子代理

  • 代理充当控制器或调度员，而不仅仅是工具包装器

  • 实现可组合性、可扩展性和逻辑隔离

常见使用案例

  • 编排模型链（例如，通过组合 LLM、vision 和代码）

  • AI 驱动的自动化管道

  • DevOps 带有脚本运行器的助理代理

  • 复杂的财务计算、模拟或优化代理

  • 多模态工具（例如，通过组合音频、文档和操作）

实施指导

您可以使用以下方法构建此模式 AWS 服务：

  • Amazon Bedrock（代理主机和 LLM 推理）

  • AWS Lambda、Amazon ECS 或亚马逊 SageMaker 终端节点作为工具服务器运行时 AWS Fargate

  • Amazon API Gateway 或者 AWS App Runner 用于公开工具服务器 APIs

  • EventBridge 用于解耦 agent-to-tool消息的 Amazon

  • AWS Step Functions 或者 AWS AppFabric 用于在工具服务器上编写多代理逻辑

Summary

使用服务器的基于工具的代理具有高度模块化和可扩展性。它们将决策逻辑与执行分离，从而允许主代理保持轻量级，同时将复杂或敏感的操作转移到其他系统。这对于企业级代理人工智能非常重要，尤其是在需要治理、可观察性、隔离、动态组合或其任意组合的环境中。