評価レシピの例

これらのレシピを使用すると、テキストのみのベンチマークの包括的なスイート全体で Amazon Nova モデルの基本的な機能を評価できます。これらは xxx_general_text_benchmark_eval.yaml 形式で提供されます。

これらのレシピを使用すると、ベンチマーク用の独自のデータセットを取り込んでモデル出力を比較し、さまざまなタイプのメトリクスを使用して回答を参照できます。これらは xxx_bring_your_own_dataset_eval.yaml 形式で提供されます。

Bring your own dataset の要件は次のとおりです。

Bring your own data set のエントリ例を次に示します。

{
   "system":"You are a english major with top marks in class who likes to give minimal word responses: ",
   "query":"What is the symbol that ends the sentence as a question",
   "response":"?"
}
{
   "system":"You are a pattern analysis specialist that provides succinct answers: ",
   "query":"What is the next number in this series? 1, 2, 4, 8, 16, ?",
   "response":"32"
}
{
   "system":"You have great attention to detail that follows instructions accurately: ",
   "query":"Repeat only the last two words of the following: I ate a hamburger today and it was kind of dry",
   "response":"of dry"
}

カスタムデータセットを使用するには、以下の必須フィールドを使用して評価レシピを変更し、いずれの内容も変更しないでください。

evaluation:
  task: gen_qa
  strategy: gen_qa
  metric: all

以下の制限が適用されます。

Amazon Nova LLM-as-a-judge は、1 つのモデルからのレスポンスの品質をカスタムデータセットのベースラインモデルレスポンスと比較できるようにするモデル評価機能です。プロンプト、ベースラインレスポンス、チャレンジャーレスポンスを含むデータセットを取り、Nova Judge モデルを使用して、ペアワイズ比較による Bradley-Terry 確率に基づく勝利率メトリクスを提供します。

レシピは xxx_llm_judge_eval.yaml 形式で提供されます。

LLM-as-a-judge の要件は以下のとおりです。

LLM-as-a-judge のエントリ例は以下のとおりです。

{
"prompt": "What is the most effective way to combat climate change?",
"response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.",
"response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."
}
{
"prompt": "Explain how a computer's CPU works",
"response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.",
"response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."
}
{
"prompt": "How does photosynthesis work?",
"response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.",
"response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."
}

カスタムデータセットを使用するには、以下の必須フィールドを使用して評価レシピを変更し、いずれの内容も変更しないでください。

evaluation:
  task: llm_judge
  strategy: judge
  metric: all

以下の制限が適用されます。

マルチモーダル (イメージ) 用の Nova LLM Judge は、Nova MM_LLM Judge の略で、カスタムデータセットを使用して、1 つのモデルからのレスポンスの品質をベースラインモデルのレスポンスと比較できるモデル評価機能です。プロンプト、ベースラインレスポンス、チャレンジャーレスポンス、および Base64 エンコードされた文字列形式のイメージを含むデータセットを受け付けてから、Nova Judge モデルを使用して、ペアワイズ比較による Bradley-Terry 確率に基づく勝利率メトリクスを提供します。レシピの形式は xxx_mm_llm_judge _eval.yaml です。

Nova LLM データセットの要件

ファイル形式:

スキーマ形式 - .jsonl ファイル内の各行は、次のフィールドがある JSON オブジェクトである必要があります。

エントリ例

読みやすくするために、以下の例には新しい行とインデントが含まれていますが、実際のデータセットでは、各レコードを 1 行で記述する必要があります。

{
  "prompt": "what is in the image?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    }
  ],
  "response_A": "a dog.",
  "response_B": "a cat.",
}
{
  "prompt": "how many animals in echo of the images?",
  "images": [
    {
      "data": "data:image/jpeg;Base64,/9j/2wBDAAQDAwQDAwQEAwQFBAQFBgo..."
    },
    {
      "data": "data:image/jpeg;Base64,/DKEafe3gihn..."
    }
  ],
  "response_A": "The first image contains one cat and the second image contains one dog",
  "response_B": "The first image has one aminal and the second has one animal",
}           

カスタムデータセットを使用するには、以下の必須フィールドを使用して評価レシピを変更し、いずれの内容も変更しないでください。

evaluation:
  task: mm_llm_judge
  strategy: judge
  metric: all

制限事項

Rubric Judge は、Nova 2.0 Lite 上に構築された拡張 LLM-as-a-judge 評価モデルです。プリファレンス判定のみを提供する元のジャッジモデル (A>B、B>A、またはタイ) とは異なり、Rubric Judge は各プロンプトに合わせたカスタム評価基準を動的に生成し、複数のディメンションにわたって詳細なスコアを割り当てます。

主な機能:

モデルによって生成された条件の例:

price_validation:
  description: "The response includes validation to ensure price is a positive value."
  type: "scale"
  weight: 0.3

モデルは、生成されたすべての基準に対して両方のレスポンスを評価し、これらの基準レベルのスコアを使用して最終的なプリファレンスの決定を通知します。

レシピ設定

Rubric Judge レシピ

レシピで task: rubric_llm_judge を設定して Rubric Judge を有効にします。

run:
  name: nova-eval-job-name                              # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-2-lite-v1:0:256k              # [FIXED] Rubric Judge model type
  model_name_or_path: "nova-lite-2/prod"                # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                           # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                      # [FIXED] Leave empty for SageMaker Training job
  output_s3_path: ""                                    # [FIXED] Leave empty for SageMaker Training job

evaluation:
  task: rubric_llm_judge                                # [FIXED] Evaluation task - enables Rubric Judge
  strategy: judge                                       # [FIXED] Evaluation strategy
  metric: all                                           # [FIXED] Metric calculation method

inference:
  max_new_tokens: 12000                                 # [MODIFIABLE] Maximum tokens to generate
  top_k: -1                                             # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                            # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                        # [MODIFIABLE] Sampling temperature (0 = deterministic)

元の LLM as a Judge レシピ (比較用)

元のジャッジモデルは task: llm_judge を使用します。

run:
  name: eval-job-name                                   # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-micro-v1:0:128k               # [FIXED] Model type
  model_name_or_path: "nova-micro/prod"                 # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                           # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                      # [FIXED] Leave empty for SageMaker Training job
  output_s3_path: ""                                    # [FIXED] Leave empty for SageMaker Training job

evaluation:
  task: llm_judge                                       # [FIXED] Original judge task
  strategy: judge                                       # [FIXED] Evaluation strategy
  metric: all                                           # [FIXED] Metric calculation method

inference:
  max_new_tokens: 12000                                 # [MODIFIABLE] Maximum tokens to generate
  top_k: -1                                             # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                            # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                        # [MODIFIABLE] Sampling temperature (0 = deterministic)

入力データセット形式

入力データセットの形式は、元のジャッジモデルと同じです。

必須フィールド:

データセットの例 (JSONL 形式):

{"prompt": "What is the most effective way to combat climate change?", "response_A": "The most effective way to combat climate change is through a combination of transitioning to renewable energy sources and implementing strict carbon pricing policies. This creates economic incentives for businesses to reduce emissions while promoting clean energy adoption.", "response_B": "We should focus on renewable energy. Solar and wind power are good. People should drive electric cars. Companies need to pollute less."}
{"prompt": "Explain how a computer's CPU works", "response_A": "CPU is like brain of computer. It does math and makes computer work fast. Has lots of tiny parts inside.", "response_B": "A CPU (Central Processing Unit) functions through a fetch-execute cycle, where instructions are retrieved from memory, decoded, and executed through its arithmetic logic unit (ALU). It coordinates with cache memory and registers to process data efficiently using binary operations."}
{"prompt": "How does photosynthesis work?", "response_A": "Plants do photosynthesis to make food. They use sunlight and water. It happens in leaves.", "response_B": "Photosynthesis is a complex biochemical process where plants convert light energy into chemical energy. They utilize chlorophyll to absorb sunlight, combining CO2 and water to produce glucose and oxygen through a series of chemical reactions in chloroplasts."}

フォーマット要件:

評価出力

出力構造

Rubric Judge は、元のジャッジモデルと比較して強化された評価メトリクスを生成します。

{
  "config_general": {
    "lighteval_sha": "string",
    "num_fewshot_seeds": "int",
    "max_samples": "int | null",
    "job_id": "int",
    "start_time": "float",
    "end_time": "float",
    "total_evaluation_time_secondes": "string",
    "model_name": "string",
    "model_sha": "string",
    "model_dtype": "string | null",
    "model_size": "string"
  },
  "results": {
    "custom|rubric_llm_judge_judge|0": {
      "a_scores": "float",
      "a_scores_stderr": "float",
      "b_scores": "float",
      "b_scores_stderr": "float",
      "ties": "float",
      "ties_stderr": "float",
      "inference_error": "float",
      "inference_error_stderr": "float",
      "score": "float",
      "score_stderr": "float",
      "weighted_score_A": "float",
      "weighted_score_A_stderr": "float",
      "weighted_score_B": "float",
      "weighted_score_B_stderr": "float",
      "score_margin": "float",
      "score_margin_stderr": "float",
      "winrate": "float",
      "lower_rate": "float",
      "upper_rate": "float"
    }
  },
  "versions": {
    "custom|rubric_llm_judge_judge|0": "int"
  }
}

Rubric Judge の新しいメトリクス

以下の 6 つのメトリクスは Rubric Judge に固有であり、きめ細かな品質評価を提供します。

加重スコアメトリクスについて

目的: 加重スコアは、バイナリプリファレンス判定を補完する継続的な品質測定値を提供し、モデルのパフォーマンスをより深く洞察できるようにします。

元のジャッジとの主な違い:

score_margin の解釈:

ユースケース:

計算方法

加重スコアは、以下のプロセスを通じて計算されます。

例: response_A の加重合計が 0.65 で response_B の加重合計が 0.78 の場合、score_margin は -0.13 になり、response_B の品質がすべての加重基準で 13 パーセントポイント高いことを示します。

推論モデルのサポート

推論モデルのサポートにより、最終的なレスポンスを生成する前に明示的な内部推論を実行する推論対応 Nova モデルによる評価が可能になります。この機能は、reasoning_effort パラメータを介した API レベルの制御を使用して、推論機能を動的に有効または無効にし、複雑な分析タスクの応答品質を向上させる可能性があります。

サポートされているモデル:

レシピ設定

レシピの inference セクションに reasoning_effort パラメータを追加して、推論を有効にします。

run:
  name: eval-job-name                                    # [MODIFIABLE] Unique identifier for your evaluation job
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for  job
  output_s3_path: ""                                     # [MODIFIABLE] Output path for  job (not compatible with SageMaker Training jobs)

evaluation:
  task: mmlu                                             # [MODIFIABLE] Evaluation task
  strategy: generate                                     # [MODIFIABLE] Evaluation strategy
  metric: all                                            # [MODIFIABLE] Metric calculation method

inference:
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/medium/high or null to disable
  max_new_tokens: 200                                    # [MODIFIABLE] Maximum tokens to generate
  top_k: 50                                              # [MODIFIABLE] Top-k sampling parameter
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

reasoning_effort パラメータを使用する

reasoning_effort パラメータは、推論可能なモデルの推論動作を制御します。

前提条件:

利用可能なオプション:

推論を有効にする場合

以下の場合は、推論モード (low、medium、または high) を使用します。

以下の場合は、非推論モード (パラメータを省略) を使用します。

トラブルシューティング

エラー:「推論モードは有効ですが、モデルは推論をサポートしていません」

原因: reasoning_effort パラメータは null 以外の値に設定されていますが、指定された model_type は推論をサポートしていません。

解決策: