エージェントの詳細 - 評価

評価は、AI エージェントの継続的な品質モニタリングメトリクスを提供します。ダッシュボードから提供された情報を使用して、AI エージェントのパフォーマンス、品質、信頼性を評価できます。

評価は、シミュレートされたテストケースに依存するのではなく、実際のユーザーセッションとエージェントのやり取りをキャプチャするため、入力から最終出力まで、エージェントのパフォーマンスを包括的に把握できます。エージェント評価では、サンプリングルールを定義してセッションまたはトレースの割合のみを評価し、さまざまなエバリュエーターを適用して AI エージェントの動作パフォーマンスを評価およびスコアリングできます。結果の評価とスコアが [評価] ダッシュボードに表示されるため、傾向のモニタリング、潜在的な品質問題の特定、アラームの設定、潜在的な問題の調査と診断ができます。

[評価] ダッシュボードには、選択したエージェントに対して有効および設定されたすべての評価が一覧表示されます。エージェントの評価の設定の詳細については、「AgentCore の評価」を参照してください。各評価を展開して、評価されたセッション、トレース、スパンを表示できます。

評価の詳細

各評価について、ダッシュボードには以下のセクションが含まれます。

Evaluation configuration metrics: 評価設定全体のメトリクスを提供します。エバリュエーターは、AI エージェントのパフォーマンスの特定の側面を評価する方法を定義します。エバリュエーターの詳細を表示するには、[評価者] 列でその名前を選択します。棒グラフを表示してエバリュエーターの傾向を分析するには、[カウント] 列の値を選択します。
Session evaluations: セッションレベルでエバリュエーターの評価結果を提供します。セッションは、単一のユーザーまたはワークフローからの関連するやり取りの論理的なグループ化を表します。セッションには 1 つまたは複数のトレースが含まれる可能性があります。[トレース評価] セクションで、そのセッション内のトレースのリストにフィルタリングして入れるセッションを選択できます。
Trace evaluations: トレースレベルでエバリュエーターの評価結果を提供します。トレースは、単一のエージェント実行またはリクエストの完全なレコードです。トレースには 1 つまたは複数のスパンが含まれる可能性があります。トレースを選択すると、トレースの詳細とそのトレースで実行されたすべてのエバリュエーターが表示されます。
Span evaluations: スパンレベルでエバリュエーターの評価結果を提供します。スパンは、その実行中に実行された個々のオペレーションを表します。スパンを選択すると、スパンの詳細と、そのスパン中に実行されたすべてのオペレーションが表示されます。

評価グラフ

[評価] ダッシュボードには、各エバリュエーターの棒グラフも含まれています。グラフには、各エバリュエーターの経時的な傾向が表示され、特定のメトリクス値のアラームを設定できます。アラームを設定するには、グラフのバーをクリックし、[アラーム] (ベル) アイコンを選択します。詳細については、「Amazon CloudWatch でのアラームの使用」を参照してください。

評価結果の操作

評価結果データに直接アクセスする必要がある場合、または視覚化をカスタマイズしたり AgentCore Evaluations コンソール外で作業したりする場合は、CloudWatch Logs、CloudWatch Metrics、CloudWatch ダッシュボードから直接評価結果にアクセスできます。