View a markdown version of this page

Comment ça marche - Amazon Bedrock AgentCore
Ce que vous obtenezFonctionnement de l'analyseQuand il fonctionneCatégories de défaillances

Comment ça marche

AgentCore insights répond à trois questions concernant le comportement de production de votre agent : pourquoi échoue-t-il ? Que demandent les utilisateurs ? et Comment résout-il les problèmes ?

Ce que vous obtenez

Lorsque vous générez des informations, vous recevez :

  • Une liste hiérarchisée des types de défaillance : il ne s'agit pas d'erreurs individuelles, mais de problèmes récurrents regroupés par cause première. Chaque schéma vous indique ce qui ne va pas et pourquoi. Insights est intégré à des fonctionnalités de AgentCore recommandation pour générer des correctifs pour les modèles de défaillance.

  • Une carte des intentions des utilisateurs : les tâches les plus courantes que vos utilisateurs essaient d'accomplir, classées par fréquence.

  • Un résumé des modèles de comportement des agents, c'est-à-dire la façon dont votre agent aborde généralement les problèmes et les résultats qu'il obtient.

Ils correspondent à trois types d'informations que vous pouvez configurer :

  • Builtin.Insight.FailureAnalysis— Détection des modèles de défaillance et analyse des causes profondes

  • Builtin.Insight.UserIntent— Extraction et regroupement des intentions de l'utilisateur

  • Builtin.Insight.ExecutionSummary— Synthèse du comportement des agents et mise en cluster

Fonctionnement de l'analyse

Insights examine les traces de session de votre agent (l'enregistrement complet des messages des utilisateurs, le raisonnement des agents, les appels aux outils et les réponses) et produit des résultats à deux niveaux :

Session-level analyse

Chaque session est analysée individuellement afin de déterminer :

  • Si l'agent a rencontré des échecs lors de l'exécution, y compris des échecs cachés dans des traces qui peuvent ne pas être visibles pour l'utilisateur final même lorsque la session semble réussie

  • Quelle catégorie de défaillance s'est produite (erreur d'outil, hallucination, mauvais choix d'outil, etc.)

  • Quelle étape spécifique de l'exécution de l'agent a causé l'échec

  • Quelle en était la cause première

  • Ce que l'utilisateur essayait d'accomplir

  • Quelle approche l'agent a adoptée et quel est le résultat final

Découverte de modèles

Une fois les sessions individuelles analysées, le service identifie les modèles récurrents au cours de toutes les sessions en regroupant les résultats similaires. Pour l'analyse des défaillances, cela produit une hiérarchie à trois niveaux :

  1. Catégories d'échec : grands groupes tels que les « erreurs d'exécution », les « hallucinations » ou les « actions incorrectes ».

  2. Sous-catégories : types de défaillances plus spécifiques, tels que « limitation du débit » ou « erreurs de schéma d'outil ».

  3. Groupes de causes premières : dans chaque sous-catégorie, les causes profondes récurrentes spécifiques. Chaque cluster vous indique :

    • Quelle est la cause première

    • Combien de sessions sont concernées

    • Quelles sessions vous pouvez consulter pour plus de détails

Pour les intentions des utilisateurs et les résumés d'exécution, le service produit des clusters plats classés par fréquence.

Quand il fonctionne

Vous contrôlez le moment où Insights est exécuté :

  • One-time: appelez pour obtenir StartBatchEvaluation des informations chaque fois que vous souhaitez obtenir une analyse, par exemple après un déploiement, après un pic de plaintes d'utilisateurs ou dans le cadre d'un examen hebdomadaire.

  • Récurrent : configurez une fréquence de clustering (DAILYWEEKLY, ouMONTHLY) et le service s'exécutera automatiquement, vous fournissant des rapports périodiques sans intervention manuelle.

Catégories de défaillances

Insights reconnaît une large taxonomie des types de défaillances des agents :

Catégorie Exemples

Erreurs d'exécution

Défaillances d'authentification, ressource introuvable, erreurs de service, limitation du débit, délais d'attente, violations du schéma d'outil

Problèmes liés aux instructions relatives aux tâches

Non-compliance avec instructions, identification des problèmes, échecs

Actions incorrectes

Mauvaise sélection d'outils, mauvaise extraction des informations, demandes de clarification inappropriées

Gestion du contexte

Échec de la gestion du contexte au fil des tours

Hallucinations

Capacités fabriquées, malentendu, utilisation incorrecte, fabrication de l'historique, hallucination des paramètres, sorties d'outils fabriquées

Comportement répétitif

Répétition d'appels d'outils, répétition de demandes d'informations, répétition d'étapes

Erreurs d'orchestration

Inadéquation du raisonnement, écart par rapport aux objectifs, résiliation prématurée, terminaison inconsciente

Problèmes de sortie LLM

Sorties absurdes

Incompatibilité de configuration

Incohérences entre les définitions d'outils

Coding-specific

Oublis de cas Edge, problèmes de dépendance