翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

評価の実行と結果の解釈

評価ジョブの実行

ステップ 1: データを準備する

ステップ 2: レシピを設定する

サンプルレシピを 設定で更新します。

レシピを として保存する rft_eval_recipe.yaml

ステップ 3: 評価を実行する

提供されたノートブックを使用して評価ジョブを実行する: 評価ノートブック

評価コンテナ

708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest

ステップ 4: 進行状況を監視する

以下を通じて評価ジョブをモニタリングします。

評価結果について

出力形式

評価ジョブは、指定した S3 ロケーションに JSONL 形式で結果を出力します。各行には、1 つのサンプルの評価結果が含まれます。

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

結果の解釈

報酬スコアの集計

個々のメトリクス

パフォーマンスベンチマーク

「良い」パフォーマンスを構成するものは、ユースケースによって異なります。

結果を分析する

概要統計の計算

import json  
import numpy as np  
scores = []  
with open('evaluation_results.jsonl', 'r') as f:  
    for line in f:  
        result = json.loads(line)  
        scores.append(result['aggregate_reward_score'])  
  
print(f"Mean: {np.mean(scores):.3f}")  
print(f"Median: {np.median(scores):.3f}")  
print(f"Std Dev: {np.std(scores):.3f}")  
print(f"Min: {np.min(scores):.3f}")  
print(f"Max: {np.max(scores):.3f}")

トラブルシューティング

一般的な問題

デバッグチェックリスト

ベストプラクティス

次の手順

RFT 評価を完了した後:

プリセット報酬関数

オープンソースの verl ライブラリの 2 つのプリセット報酬関数 (prime_code、Prime_math) は、RFT Lambda にバンドルできる Lambda レイヤーで使用できます。

概要:

これらのプリセット関数は、以下に対してout-of-the-box評価機能を提供します。

Quick Setup

prime_code 関数

目的: テストケースに対してコードを実行し、正確性を測定することで、Python コード生成タスクを評価します。

評価からの入力データセット形式の例

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}  
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

主な特徴

prime_math 関数

目的: シンボリック数学のサポートにより、数学的な推論と問題解決能力を評価します。

入力形式

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

主な特徴

データ形式の要件

コード評価用

数学評価用

ベストプラクティス

エラー処理

どちらの関数にも、以下の堅牢なエラー処理が含まれています。