エバリュエーター

評価者は、さまざまなディメンションにわたってエージェントのパフォーマンスを評価するコアコンポーネントです。エージェントトレースを分析し、有用性、精度、カスタムビジネスメトリクスなどの特定の基準に基づいて定量的スコアを提供します。AgentCore Evaluations は、一般的なユースケース用の組み込み評価者と、特定の要件に合わせたカスタム評価者を作成する柔軟性の両方を提供します。

組み込み評価者

組み込み評価者は、大規模言語モデル (LLMs) を審査員として使用してエージェントのパフォーマンスを評価する事前設定されたソリューションです。これらの評価者には、慎重に作成されたプロンプトテンプレート、選択した評価者モデル、標準化されたスコアリング基準など、事前定義された設定が付属しています。

組み込み評価者は、評価全体の一貫性と信頼性を確保しながら、一般的な評価ニーズに対応するように設計されています。これらはフルマネージド型サービスの一部であるため、追加の設定なしですぐに使用でき、今後も品質を向上させ、新しい評価者を追加していきます。一貫性と信頼性を維持するために、組み込み評価者の設定を変更することはできません。

カスタム評価者

カスタム評価者は、評価プロセスのあらゆる側面を定義できるため、柔軟性が高まります。AgentCore Evaluations は、次の 2 種類のカスタム評価者をサポートしています。

このレベルのカスタマイズは、ドメイン固有のエージェントを評価したり、独自の品質基準を適用したり、特殊なスコアリングシステムを実装したりする必要がある場合に特に役立ちます。例えば、医療や金融などの特定の業界のカスタム評価基準を作成したり、組織の品質メトリクスに沿ったスコアリングスキーマを設計したりできます。