Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Informations sur l'agent - Évaluations

Evaluations fournit des mesures de surveillance continue de la qualité pour vos agents d'IA. Vous pouvez utiliser les informations fournies par le tableau de bord pour évaluer les performances, la qualité et la fiabilité de vos agents d'IA.

Au lieu de s'appuyer sur des cas de test simulés, les évaluations capturent les sessions utilisateur réelles et les interactions entre les agents, fournissant ainsi une vue complète des performances des agents, de l'entrée à la sortie finale. Grâce aux évaluations des agents, vous pouvez définir des règles d'échantillonnage pour évaluer uniquement un pourcentage des sessions ou des traces, puis appliquer divers évaluateurs pour évaluer et noter les performances opérationnelles d'un agent d'IA. Les évaluations et les scores qui en résultent sont affichés dans le tableau de bord des évaluations, ce qui vous permet de suivre les tendances, d'identifier les problèmes de qualité potentiels, de définir des alarmes et d'étudier et de diagnostiquer les problèmes potentiels.

Le tableau de bord Evaluations répertorie toutes les évaluations qui ont été activées et configurées pour l'agent sélectionné. Pour plus d'informations sur la configuration des évaluations pour un agent, consultez la section AgentCore évaluations. Vous pouvez développer chaque évaluation pour afficher les sessions, les traces et les périodes qui ont été évaluées.

Détails des évaluations

Pour chaque évaluation, le tableau de bord comprend les sections suivantes :

Evaluation configuration metrics

Fournit des mesures pour la configuration globale de l'évaluation. Un évaluateur définit comment évaluer un aspect spécifique de la performance d'un agent d'IA. Pour afficher plus de détails sur un évaluateur, choisissez son nom dans la colonne Évaluateur. Pour afficher un graphique à barres et analyser les tendances pour un évaluateur, choisissez la valeur dans la colonne Nombre.

Session evaluations

Fournit les résultats de l'évaluation aux évaluateurs au niveau de la session. Une session représente un regroupement logique d'interactions connexes provenant d'un seul utilisateur ou d'un seul flux de travail. Une session peut contenir une ou plusieurs traces. Vous pouvez choisir une session à filtrer jusqu'à la liste des traces de cette session dans la section Évaluations des traces.

Trace evaluations

Fournit des résultats d'évaluation aux évaluateurs au niveau de la trace. Une trace est un enregistrement complet de l'exécution ou de la demande d'un seul agent. Une trace peut contenir une ou plusieurs plages. Choisissez une trace pour afficher les détails de la trace ainsi que tous les évaluateurs qui ont été exécutés sur cette trace.

Span evaluations

Fournit les résultats d'évaluation aux évaluateurs au niveau de la période. Un intervalle représente les différentes opérations effectuées au cours de cette exécution. Choisissez une plage pour afficher les détails de la plage ainsi que toutes les opérations effectuées au cours de cette période.

Graphiques d'évaluation

Le tableau de bord des évaluations comprend également un graphique à barres pour chaque évaluateur. Les graphiques montrent les tendances de chaque évaluateur au fil du temps et vous permettent de définir des alarmes pour des valeurs métriques spécifiques. Pour définir une alarme, cliquez sur une barre du graphique, puis choisissez l'icône d'alarme (cloche). Pour de plus amples informations, veuillez consulter Utilisation des CloudWatch alarmes Amazon.

Travaillez avec les résultats de l'évaluation

Si vous avez besoin d'un accès direct aux données de vos résultats d'évaluation, ou si vous souhaitez créer des visualisations personnalisées ou travailler en dehors de la console AgentCore Evaluations, vous pouvez accéder aux résultats de vos évaluations directement via les CloudWatch journaux, les CloudWatch mesures et les CloudWatch tableaux de bord.

Accès aux résultats des évaluations dans CloudWatch les journaux

Les résultats de votre évaluation sont automatiquement publiés dans CloudWatch Logs in Embedded Metric Format (EMF).

Pour plus d'informations sur l'utilisation des groupes de journaux et l'interrogation des données de journal, consultez Utilisation des groupes de journaux et des flux de journaux et Analyse des données de CloudWatch journaux avec Logs Insights.

Accès aux métriques d'évaluation dans CloudWatch Metrics

Les métriques des résultats d'évaluation sont automatiquement extraites des journaux EMF (Embedded Metric Format) et publiées dans CloudWatch Metrics.

Pour plus d'informations sur l'affichage et l'utilisation des métriques, consultez les rubriques Utilisation CloudWatch des métriques et Graphisme des métriques.

Création de tableaux de bord personnalisés

Vous pouvez créer des tableaux de bord personnalisés pour visualiser vos indicateurs d'évaluation en même temps que d'autres indicateurs opérationnels.

Pour obtenir des instructions détaillées, consultez les sections Création et utilisation de tableaux de bord personnalisés et Utilisation de CloudWatch tableaux de bord.

Configuration d'alarmes sur les métriques d'évaluation

Vous pouvez définir des alarmes pour vous avertir lorsque les mesures d'évaluation franchissent les seuils que vous avez spécifiés, par exemple lorsque la précision tombe en dessous des niveaux acceptables.

Pour obtenir des instructions détaillées, consultez les sections Utilisation CloudWatch des alarmes et Création CloudWatch d'une alarme en fonction d'un seuil statique.

Ressources supplémentaires