Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Diagnostiquez les problèmes AgentCore d'évaluation à l'aide d'un assistant de codage IA
Si votre configuration AgentCore d'évaluation ne produit pas de résultats, ou si vous voyez des erreurs telles que des erreurs ou des scores d'évaluation vides LogEventMissingExceptionAgentSpanMappingException, vous pouvez utiliser la compétence de diagnostic AgentCore d'évaluation pour résoudre le problème vous-même.
La compétence est un fichier de démarquage qui fonctionne avec n'importe quel assistant de codage IA. Vous le chargez dans votre assistant, vous indiquez votre AWS région, votre type de déploiement et, éventuellement, un identifiant de session, et l'assistant vous propose un diagnostic étape par étape. La compétence fonctionne avec les agents déployés sur AgentCore Runtime et les agents hébergés sur une infrastructure tierce (Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement). L'assistant interroge vos propres groupes de CloudWatch journaux Amazon pour identifier la cause première et recommander une solution.
Quels sont les diagnostics de compétence
La compétence couvre les problèmes d'évaluation les plus courants :
-
Résultats d'évaluation vides : aucun score n'apparaît malgré l'activation de la configuration de l'évaluation.
-
LogEventMissingException— l'évaluation indique qu'il manque l'événement de journal correspondant à une span. -
AgentSpanMappingExceptionouToolSpanMappingException: l'évaluation ne peut pas extraire la requête de l'utilisateur ou la sortie de l'outil d'une plage. -
SpanEventParsingException— l'évaluation ne peut pas analyser le corps d'un événement. -
Gateway Timeout (504)— le délai d'évaluation expire. -
ValidationExceptionactivéevaluatorId: le format de l'identifiant de l'évaluateur est incorrect. -
Multi-agent problèmes liés à la portée de l'évaluation : les évaluateurs ciblent le mauvais agent dans une trace multi-agents.
Conditions préalables
-
AWS CLI configurée avec les informations d'identification du compte sur lequel l'agent est exécuté. Les informations d'identification nécessitent les autorisations suivantes :
-
logs:DescribeLogGroups,logs:DescribeLogStreamslogs:StartQuery,logs:GetQueryResults— pour interroger CloudWatch les journaux -
bedrock-agentcore:GetOnlineEvaluationConfig,bedrock-agentcore:ListOnlineEvaluationConfigs— pour lire les configurations d'évaluation (évaluation en ligne uniquement)
-
-
Python 3.9 ou version ultérieure avec la
boto3bibliothèque est recommandé mais pas strictement obligatoire. Les requêtes de diagnostic peuvent également être exécutées directement via la AWS CLI. -
Un assistant de codage basé sur l'IA qui prend en charge la norme
Agent Skills ou qui peut accepter des instructions de démarquage. -
Un agent qui a été invoqué au moins une fois avec l'observabilité activée.
Copiez la compétence
La source de compétences est disponible dans Source de compétences de diagnostic. Copiez l'intégralité du bloc de code de cette rubrique et enregistrez-le SKILL.md dans un nouveau dossier nommé agentcore-eval-diagnostic/ sur votre ordinateur.
La compétence est un simple fichier de démarquage. Il ne contient que des informations publiques et fonctionne uniquement sur votre propre compte. Aucun accès côté service n'est requis.
Intégrez la compétence à votre assistant de codage IA
Enregistrez la source de compétences depuis la source de compétences de diagnostic dans un SKILL.md dossier nommé agentcore-eval-diagnostic/ sur votre machine, puis déplacez ou copiez ce dossier dans le répertoire des compétences de votre assistant de codage IA. La compétence suit la norme ouverte AGENTS.mdCLAUDE.md, ouGEMINI.md.
Kiro CLI
Placez le dossier de compétences à .kiro/skills/agentcore-eval-diagnostic/ dans votre projet, ou à ~/.kiro/skills/agentcore-eval-diagnostic/ pour le rendre disponible dans tous les espaces de travail. Pour plus de détails sur la configuration, consultez la documentation sur les compétences de la CLI
Claude Code
Placez le dossier de compétences à .claude/skills/agentcore-eval-diagnostic/ dans votre projet, ou ~/.claude/skills/agentcore-eval-diagnostic/ à pour le rendre disponible pour tous les projets. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de Claude Code
Interface de ligne de commande OpenAI Codex
Placez le dossier de compétences à .agents/skills/agentcore-eval-diagnostic/ dans votre référentiel, ou ~/.agents/skills/agentcore-eval-diagnostic/ à pour le rendre disponible dans tous les référentiels. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences du
Curseur
Le curseur utilise des règles plutôt que des compétences. Enregistrez le contenu des compétences en tant que règle de projet dans.cursor/rules/agentcore-eval-diagnostic.md. Pour plus de détails sur la configuration, consultez la documentation relative aux règles du curseur
CLI Gemini
Placez le dossier de compétences sur pour le ~/.gemini/skills/agentcore-eval-diagnostic/ rendre disponible dans tous les espaces de travail, ou dans le répertoire des compétences de votre projet pour une utilisation spécifique au projet. Pour plus de détails sur la configuration, consultez la documentation relative aux compétences de Gemini CLI
Tout autre assistant IA
Si votre assistant prend en charge la norme SKILL.md dans une invite système, un message utilisateur ou un fichier contextuel. La compétence est autonome et ne dépend d'aucune caractéristique spécifique à l'outil.
Exécuter un diagnostic
Après avoir chargé la compétence, lancez une nouvelle discussion avec votre assistant IA et fournissez :
-
Votre AWS région (par exemple,
us-west-2). -
Votre type de déploiement :
agentcore-runtimesi votre agent est déployé sur AgentCore Runtime, ou3p-manageds'il est hébergé sur Amazon ECS, Amazon EKS, AWS Lambda ou tout autre environnement non lié à AgentCore l'environnement. -
Votre type d'évaluation :
online(utilise une configuration d'évaluation avec échantillonnage) ouon-demand(appel direct à l'API Evaluate). -
Facultativement, un identifiant de session issu des traces de votre agent (l'
session.idattribut). Si vous n'en avez pas, l'assistant peut détecter automatiquement les sessions récentes à partir de vos groupes de journaux.
L'assistant interroge vos groupes de CloudWatch journaux, identifie la cause première de la panne et produit un rapport de diagnostic structuré. Le rapport inclut :
-
Résumé de la cause première.
-
Tableau des résultats indiquant les tests de diagnostic réussis ou échoués.
-
Liste des spans et des événements concernés.
-
Liens vers la AWS documentation pertinente.
-
Prochaines étapes recommandées.
L'assistant exécute toutes les requêtes de votre propre AWS compte par rapport à vos propres groupes de CloudWatch journaux. Il n'accède à aucun journal AWS côté service ni à aucune donnée interne.
Exemple d'interaction
Vous : Ma région estus-west-2, j'utilise AgentCore Runtime avec une évaluation en ligne et mon identifiant de session estmy-session-abc123. Mon évaluation ne donne aucun résultat. Peux-tu le diagnostiquer ?
Assistant IA :
## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.
Résolution des problèmes liés à la compétence elle-même
Si l'assistant ne peut pas interroger vos groupes de journaux, vérifiez que :
-
Vos AWS informations d'identification disposent des autorisations requises.
-
La région que vous avez indiquée correspond à celle où votre agent est déployé.
-
L'identifiant de session est correct (copiez-le à partir de vos traces d'agent).
-
L'agent a été invoqué au cours des dernières 24 heures.