評価用語
AgentCore 評価を効果的に使用するには、主要な概念と用語を理解することが不可欠です。次の用語は、エージェント評価に関連するコアコンポーネントとプロセスを定義します。
エージェントフレームワーク
エージェントフレームワークは、エージェントベースのアプリケーションを構築、オーケストレーション、実行するための基本的なコンポーネントを提供します。フレームワークは、ステップ、ツール、制御フロー、メモリ管理などの構造を定義します。一般的な業界フレームワークには、Strands Agents
AgentCore Evaluations は現在、ストランドエージェントと LangGraph エージェントフレームワークをサポートしています。
計測ライブラリ
計測ライブラリは、実行中にエージェントによって生成されたテレメトリを記録します。このテレメトリには、トレース、スパン、ツール呼び出し、モデル呼び出し、中間ステップを含めることができます。OpenTelemetry や OpenInference などのライブラリは、コードの変更を最小限に抑えてエージェントの動作をキャプチャできる標準化APIs とセマンティック規則を提供します。トレースの収集と評価には計測が必要です。
AgentCore Evaluations は現在、計測ライブラリとして OpenTelemetry と OpenInference をサポートしています。
計測エージェント
計測エージェントは、アプリケーションコードからテレメトリを自動的にキャプチャし、処理して、ストレージまたは評価のためにバックエンドサービスにエクスポートします。ADOT (AWS Distro for OpenTelemetry) などのツールは、ベンダーに依存しない本番稼働対応の自動計測エージェントを提供します。このエージェントは、バイトコードを動的に挿入して、コードを変更せずにトレースをキャプチャします。エージェントは、自動評価を有効にするための主要なコンポーネントです。
AgentCore Evaluations は現在、計測エージェントとして ADOT (AWS Distro for OpenTelemetry) をサポートしています。
Session
セッションは、単一のユーザーまたはワークフローからの関連するやり取りの論理的なグループ化を表します。セッションには 1 つ以上のトレースを含めることができます。セッションは、個々のリクエストに焦点を当てるのではなく、複数ステップのインタラクション全体でエージェントの動作を表示および評価するのに役立ちます。
トレース
トレースは、単一のエージェント実行またはリクエストの完全なレコードです。トレースには、その実行中に実行される個々のオペレーションを表す 1 つ以上のスパンが含まれます。トレースは、エージェントの意思決定とツールの使用状況をend-to-endで可視化します。
ツール呼び出し
ツール呼び出しは、外部関数、API、または機能のエージェントの呼び出しを表すスパンです。通常、ツール呼び出しスパンは、ツール名、入力パラメータ、実行時間、出力などの情報をキャプチャします。ツールコールの詳細を使用して、エージェントがツールを適切かつ効率的に選択して使用したかどうかを評価します。
無料大規模言語モデル (LLMsを審査員として参照する
判事としての大規模言語モデル (LLMs) とは、大規模言語モデル (LLM) を使用して、エージェントまたは別のモデルの出力の品質、正確性、または有効性を自動的に評価する評価方法を指します。手動レビューまたはルールベースのチェックに依存する代わりに、LLM は評価基準をプロンプトし、評価される入力と出力に基づいてスコア、ラベル、または説明を生成します。グラウンドトゥルースデータに依存する従来の評価とは異なり、LLM-as-a-judge メソッドは、判断を行うためにモデルの内部知識に依存します。このアプローチにより、多数のエージェントインタラクションやモデルレスポンスにわたって、正確性、推論品質、指示の遵守などのスケーラブルで一貫性のあるカスタマイズ可能な定性的評価が可能になります。
