Acheminement des modèles d'expédition dynamiques - AWS Conseils prescriptifs
Expédition dynamiqueRoutage basé sur le LLMRouteur agentPlats à emporter

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Acheminement des modèles d'expédition dynamiques

Dans les systèmes agentiques modernes, où les tâches vont de l'analyse de documents à la génération autonome de logiciels, la capacité d'acheminer dynamiquement les demandes vers le modèle ou l'agent de grande langue (LLM) le plus performant devient essentielle. La logique de routage statique, souvent intégrée dans des scripts d'orchestration ou des couches d'API, ne possède pas l'adaptabilité requise pour les environnements multi-modèles et multi-capacités en temps réel. Pour y remédier, les flux de travail de routage LLM peuvent être transformés en une architecture axée sur les événements qui tire parti d'un modèle d'expédition dynamique, transformant les appels LLM en événements routés intelligemment et sensibles au contexte.

Le schéma suivant est un exemple de routage LLM :

Routage LLM.

Expédition dynamique

Dans les systèmes distribués traditionnels, le modèle de distribution dynamique sélectionne et invoque des services spécifiques au moment de l'exécution en fonction des attributs des événements entrants, tels que le type d'événement, la source et la charge utile. Ceci est généralement mis en œuvre à l'aide d'Amazon EventBridge, qui peut évaluer et acheminer les événements entrants vers des cibles appropriées (par exemple, des AWS Lambda fonctions AWS Step Functions ou des tâches Amazon Elastic Container Service).

Le schéma suivant est un exemple de répartition dynamique :

Envoi dynamique.

  1. Une application émet un événement (par exemple, {"type » : « OrderCreated », « priority » : « high"}).

  2. Amazon EventBridge évalue l'événement par rapport à ses règles de routage.

  3. Sur la base des attributs d'un événement, le système effectue des envois dynamiques vers les sites suivants :

    • HighPriorityOrderProcessor(service A)

    • StandardOrderProcessor(service B)

    • UpdateOrderProcessor(service C)

Ce modèle prend en charge le couplage souple, la spécialisation basée sur le domaine et l'extensibilité du temps d'exécution. Cela permet aux systèmes de répondre intelligemment à l'évolution des exigences et de la sémantique des événements.

Routage basé sur le LLM

Dans les systèmes agentic, le routage effectue également une délégation dynamique des tâches, mais au lieu des EventBridge règles Amazon ou des filtres de métadonnées, le LLM classe et interprète l'intention de l'utilisateur en langage naturel. Le résultat est une forme de répartition flexible, sémantique et adaptative.

Routeur agent

Cette architecture permet une distribution riche basée sur l'intention sans schémas ni types d'événements prédéfinis, ce qui est idéal pour les entrées non structurées et les requêtes complexes.

  1. Un utilisateur soumet la demande « Pouvez-vous m'aider à revoir les termes de mon contrat ? »

  2. Le LLM interprète cela comme une tâche de documentation juridique.

  3. L'agent achemine la tâche vers un ou plusieurs des sites suivants :

    • Modèle de demande de révision de contrat

    • Sous-agent de raisonnement juridique

    • outil d'analyse de documents

Le schéma suivant est un exemple d'agent-routeur :

Agent routeur.

  1. Un utilisateur soumet une demande en langage naturel par le biais d'un SDK.

  2. Un agent Amazon Bedrock utilise un LLM pour classer la tâche (par exemple, juridique, technique ou de planification).

  3. L'agent achemine dynamiquement la tâche via un groupe d'action pour appeler l'agent requis :

    • Agent spécifique au domaine

    • Chaîne d'outils spécialisée

    • Configuration rapide personnalisée

  4. Le gestionnaire sélectionné traite la tâche et renvoie une réponse personnalisée.

Plats à emporter

Alors que l'expédition dynamique traditionnelle utilise EventBridge les règles d'Amazon pour le routage en fonction d'attributs d'événements structurés, le routage agentic permet de classer et d' LLMs acheminer sémantiquement les tâches en fonction de leur signification et de leur intention. Cela augmente la flexibilité du système en permettant ce qui suit :

  • Compréhension plus large des entrées

  • Solution de repli intelligente et sélection d'outils

  • Extensibilité naturelle grâce à de nouveaux rôles d'agent ou à des styles rapides

Le routage agentic remplace les règles rigides par un dispatching cognitif dynamique, qui permet aux systèmes d'évoluer en fonction du langage plutôt que du code.