Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Évaluateurs
Les évaluateurs sont les principaux éléments qui évaluent les performances de votre agent sous différents angles. Ils analysent les traces des agents et fournissent des scores quantitatifs basés sur des critères spécifiques tels que l'utilité, la précision ou des indicateurs commerciaux personnalisés. AgentCore Evaluations propose des évaluateurs intégrés pour les cas d'utilisation courants et des évaluateurs tiers issus de bibliothèques d'évaluation open source. Vous pouvez également créer des évaluateurs personnalisés adaptés à vos besoins spécifiques.
Built-in évaluateurs
Built-in les évaluateurs sont des solutions préconfigurées qui utilisent des modèles de langage étendus (LLM) comme juges pour évaluer les performances des agents. Ces évaluateurs sont fournis avec des configurations prédéfinies, notamment des modèles d'invite soigneusement conçus, des modèles d'évaluateurs sélectionnés et des critères de notation standardisés.
Built-in les évaluateurs sont conçus pour répondre à des besoins d'évaluation communs tout en garantissant la cohérence et la fiabilité des évaluations. Comme ils font partie de notre offre entièrement gérée, vous pouvez les utiliser immédiatement sans aucune configuration supplémentaire. Nous continuerons à améliorer leur qualité et à ajouter de nouveaux évaluateurs au fil du temps. Pour préserver la cohérence et la fiabilité, les configurations des évaluateurs intégrés ne peuvent pas être modifiées.
Third-party évaluateurs
Third-party les évaluateurs proviennent DeepEval de bibliothèques AutoEval open source. Amazon Bedrock les AgentCore gère de la même manière que les évaluateurs intégrés. Sélectionnez un évaluateur tiers par identifiant et le service l'exécute. Aucun modèle ni configuration n'est requis. Vous pouvez également dériver un évaluateur personnalisé à partir d'un évaluateur intégré ou tiers pour exécuter sa logique sur votre propre modèle. Pour plus d'informations, consultez la section Third-party évaluateurs.
Évaluateurs personnalisés
Les évaluateurs personnalisés offrent une plus grande flexibilité en vous permettant de définir tous les aspects de votre processus d'évaluation. AgentCore Evaluations prend en charge les types d'évaluateurs personnalisés suivants :
-
LLM-as-a-judge évaluateurs : définissez votre propre modèle d'évaluateur, vos instructions d'évaluation et vos schémas de notation. Vous pouvez adapter l'évaluation à vos besoins spécifiques en sélectionnant le modèle d'évaluateur, en élaborant des instructions d'évaluation personnalisées, en définissant des critères d'évaluation spécifiques et en concevant votre propre schéma de notation. Pour plus d'informations, voir Évaluateurs Évaluateurs personnalisés personnalisés.
-
Code-based évaluateurs : utilisez votre propre fonction AWS Lambda pour évaluer par programmation les performances des agents. Cette approche vous donne un contrôle total sur la logique d'évaluation, en permettant des contrôles déterministes, des appels d'API externes, la correspondance des expressions régulières, des métriques personnalisées ou toute autre règle spécifique à l'entreprise sans avoir à faire appel à un juge LLM. Pour plus d'informations, consultez Evaluateur personnalisé basé sur un code.
-
Évaluateurs dérivés d'un évaluateur de base : exécutez la logique d'un évaluateur intégré ou tiers existant sur votre propre modèle et inférez des inférences, au lieu du modèle choisi par le service. Pour plus d'informations, consultez la section Third-party évaluateurs.
Ce niveau de personnalisation est particulièrement utile lorsque vous devez évaluer des agents spécifiques à un domaine, appliquer des normes de qualité uniques ou mettre en œuvre des systèmes de notation spécialisés. Par exemple, vous pouvez créer des critères d'évaluation personnalisés pour des secteurs spécifiques tels que la santé ou la finance, ou concevoir des schémas de notation qui correspondent aux indicateurs de qualité de votre organisation.
