路由动态调度模式 - AWS 规范性指导
动态调度基于 LLM 的路由代理路由器外卖

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

路由动态调度模式

在现代代理系统中，任务范围从文档解析到自主软件生成，将请求动态路由到功能最强的大型语言模型 (LLM) 或代理的能力变得至关重要。静态路由逻辑通常嵌入在编排脚本或 API 层中，缺乏实时、多模型、多功能环境所需的适应性。为了解决这个问题，可以将 LLM 路由工作流转换为事件驱动的架构，该架构利用动态调度模式，将 LLM 调用转换为智能路由、上下文感知的事件。

下图是 LLM 路由的示例：

LLM 路由。

动态调度

在传统的分布式系统中，动态调度模式根据传入的事件属性（例如事件类型、源和负载）在运行时选择和调用特定的服务。这通常使用 Amazon 实现 EventBridge，亚马逊可以评估传入的事件并将其路由到相应的目标（例如 AWS Step Functions， AWS Lambda 函数或亚马逊弹性容器服务任务）。

下图是动态调度的示例：

动态调度。

  1. 应用程序会发出一个事件（例如，{"type”: “orderCreated”，“优先级”：“高”}）。

  2. Amazon EventBridge 会根据其路由规则评估事件。

  3. 根据事件的属性，系统会动态调度到以下内容：

    • HighPriorityOrderProcessor（服务 A）

    • StandardOrderProcessor（服务 B）

    • UpdateOrderProcessor（服务 C）

此模式支持松散耦合、基于域的专业化和运行时可扩展性。这使系统能够智能地响应不断变化的需求和事件语义。

基于 LLM 的路由

在代理系统中，路由还会执行动态任务委派，但是 LLM 不是亚马逊 EventBridge 规则或元数据筛选器，而是通过自然语言对用户的意图进行分类和解释。结果是一种灵活、语义化和自适应的调度形式。

代理路由器

这种架构支持基于意图的丰富调度，无需预定义架构或事件类型，非常适合非结构化输入和复杂查询。

  1. 用户提交了请求 “你能帮我查看合同条款吗？”

  2. 法学硕士将其解释为一项法律文件任务。

  3. 代理将任务路由到以下一项或多项：

    • 合同审查提示模板

    • 法律推理子代理

    • 文档解析工具

下图是代理路由器的示例：

代理路由器。

  1. 用户通过 SDK 提交自然语言请求。

  2. Amazon Bedrock 代理使用 LLM 对任务进行分类（例如，法律、技术或日程安排）。

  3. 代理通过操作组动态路由任务以调用所需的代理：

    • 特定域名代理

    • 专业工具链

    • 自定义提示符配置

  4. 选定的处理者处理任务并返回定制的响应。

外卖

传统动态调度使用基于结构化事件属性的Amazon EventBridge 规则进行路由，而代理路由则根据含义和意图对任务进行语义分类和路由。 LLMs 这通过启用以下功能扩展了系统的灵活性：

  • 更广泛的输入理解

  • 智能备用和工具选择

  • 通过新的代理角色或提示样式实现自然的可扩展性

代理路由用动态认知调度取代了严格的规则，这允许系统随着语言而不是代码的变化而发展。