翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

別の LLM-as-a-judge を使用してモデルのパフォーマンスを評価する

ジャッジモデルを使用するモデル評価ジョブでは、Amazon Bedrock は LLM を使用して別のモデルの応答をスコアリングし、プロンプトと応答の各ペアをどのようにスコアリングしたかを説明します。スコアと説明は、Amazon Bedrock コンソールの [評価] ページから確認できます。

このようなモデル評価には、ジェネレーターモデルと評価者モデルという 2 つの異なるモデルが必要です。データセットでジェネレーターモデルのプロンプトを定義すると、選択したメトリクスに基づいて評価者モデルがそれらのプロンプトへの応答をスコアリングします。

コンソールのメトリクス概要カードには、応答に特定のスコアが付けられた回数を示すヒストグラムと、データセット内で見つかった最初の 5 つのプロンプトのスコアの説明が表示されます。完全な評価ジョブレポートは、モデル評価ジョブの作成時に指定した Amazon S3 バケットにあります。

モデル評価ジョブを作成するときは、ジェネレーターモデルとして Amazon Bedrock モデルを選択するか、プロンプトデータセットに独自の推論レスポンスデータを指定して Amazon Bedrock 以外のモデルを評価できます。独自の応答データを指定した場合、Amazon Bedrock はモデル呼び出しステップをスキップし、指定したデータを直接評価します。

ジェネレーターモデルの応答を評価するために、Amazon Bedrock には、選択可能な一連の組み込みメトリクスが用意されています。メトリクスごとに異なるプロンプトが評価者モデルで使用されます。特定のビジネスケース用に独自のカスタムメトリクスを定義することもできます。詳細については、「メトリクスを使用してモデルのパフォーマンスを把握する」を参照してください。

サポートされているモデル

サポートされている評価者モデル (組み込みメトリクス)

Amazon Bedrock の組み込みメトリクスとともに LLM-as-a-judge を使用する評価ジョブを作成するには、次のリストのジャッジモデルのうち少なくとも 1 つに対するアクセス権が必要です。モデルに対するアクセス権の取得とリージョンの可用性の詳細については、「Access Amazon Bedrock foundation models」を参照してください。

クロスリージョン推論プロファイルは、上記のモデルでサポートされています。詳細についてはサポートされているクロスリージョン推論プロファイルを参照してください。

サポートされている評価者モデル (カスタムメトリクス)

カスタムメトリクスとともに LLM-as-a-judge を使用する評価ジョブを作成するには、次のリストのジャッジモデルのうち少なくとも 1 つに対するアクセス権が必要です。

クロスリージョン推論プロファイルは、上記のモデルでサポートされています。詳細についてはサポートされているクロスリージョン推論プロファイルを参照してください。

サポートされているジェネレーターモデル

Amazon Bedrock の次のモデルタイプを評価ジョブのジェネレーターモデルとして使用できます。Amazon Bedrock 以外のモデルから独自の推論レスポンスデータを取り込むこともできます。