翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

プリセットおよびカスタムスコアラーで評価する

カスタムスコアラー評価タイプを使用する場合、SageMaker 評価は、volcengine/verl RL トレーニングライブラリから取得した 2 つの組み込みスコアラー (「報酬関数」とも呼ばれます) Prime Math と Prime Code、または Lambda 関数として実装された独自のカスタムスコアラーをサポートします。

組み込みスコアラー

Prime Math

素数学スコアラーは、数学の質問を含むエントリのカスタム JSONL データセットをプロンプト/クエリとして想定し、正しい回答をグラウンドトゥルースとして想定します。データセットは、「」で説明されているサポートされている形式のいずれかにすることができますBring-Your-Own-Dataset (BYOD) タスクでサポートされているデータセット形式。

データセットエントリの例 (わかりやすくするために拡張):

{
    "system":"You are a math expert: ",
    "query":"How many vertical asymptotes does the graph of $y=\\frac{2}{x^2+x-6}$ have?",
    "response":"2" # Ground truth aka correct answer
}

Prime コード

Prime Code Scorer は、 metadataフィールドで指定されたコーディング問題とテストケースを含むエントリのカスタム JSONL データセットを想定しています。各エントリ、サンプル入力、および期待される出力に期待される関数名を使用してテストケースを構造化します。

データセットエントリの例 (わかりやすくするために拡張):

{
    "system":"\\nWhen tackling complex reasoning tasks, you have access to the following actions. Use them as needed to progress through your thought process.\\n\\n[ASSESS]\\n\\n[ADVANCE]\\n\\n[VERIFY]\\n\\n[SIMPLIFY]\\n\\n[SYNTHESIZE]\\n\\n[PIVOT]\\n\\n[OUTPUT]\\n\\nYou should strictly follow the format below:\\n\\n[ACTION NAME]\\n\\n# Your action step 1\\n\\n# Your action step 2\\n\\n# Your action step 3\\n\\n...\\n\\nNext action: [NEXT ACTION NAME]\\n\\n",
    "query":"A number N is called a factorial number if it is the factorial of a positive integer. For example, the first few factorial numbers are 1, 2, 6, 24, 120,\\nGiven a number N, the task is to return the list/vector of the factorial numbers smaller than or equal to N.\\nExample 1:\\nInput: N = 3\\nOutput: 1 2\\nExplanation: The first factorial number is \\n1 which is less than equal to N. The second \\nnumber is 2 which is less than equal to N,\\nbut the third factorial number is 6 which \\nis greater than N. So we print only 1 and 2.\\nExample 2:\\nInput: N = 6\\nOutput: 1 2 6\\nExplanation: The first three factorial \\nnumbers are less than equal to N but \\nthe fourth factorial number 24 is \\ngreater than N. So we print only first \\nthree factorial numbers.\\nYour Task:  \\nYou don't need to read input or print anything. Your task is to complete the function factorialNumbers() which takes an integer N as an input parameter and return the list/vector of the factorial numbers smaller than or equal to N.\\nExpected Time Complexity: O(K), Where K is the number of factorial numbers.\\nExpected Auxiliary Space: O(1)\\nConstraints:\\n1<=N<=10^{18}\\n\\nWrite Python code to solve the problem. Present the code in \\n```python\\nYour code\\n```\\nat the end.",
    "response": "", # Dummy string for ground truth. Provide a value if you want NLP metrics like ROUGE, BLEU, and F1.
    ### Define test cases in metadata field
    "metadata": {
        "fn_name": "factorialNumbers",
        "inputs": ["5"],
        "outputs": ["[1, 2]"]
    }
}

カスタムスコアラー (独自のメトリクスを使用)

ニーズに合わせてカスタマイズされたカスタムメトリクスを計算できるカスタム後処理ロジックを使用して、モデル評価ワークフローを完全にカスタマイズします。モデルレスポンスを受け入れて報酬スコアを返す AWS Lambda 関数としてカスタムスコアラーを実装する必要があります。

Lambda 入力ペイロードのサンプル

カスタムスコアラー AWS Lambda 関数が受け取るペイロードは、評価データセットの形式をミラーリングします。SageMaker AI はデータセット形式を検出し、モデルが生成した回答を追加して、対応するシェイプで各サンプルを Lambda に送信します。Lambda は、使用しているデータセット形式に一致するフィールドからレスポンスを読み取る必要があります。

コンテナは、サンプルごとに 1 回 Lambda を呼び出し、1 つのサンプルオブジェクトを含むリストを渡します。Lambda はリストを反復する必要がありますが、現在は呼び出しごとに 1 つの項目しか含まれていません。以下のセクションでは、サポートされているデータセット形式ごとに Lambda が受け取るペイロードを示します。

OpenAI Chat 形式

[
  {
    "id": "123",
    "messages": [
      { "role": "system", "content": "You are helpful." },
      { "role": "user", "content": "What is the capital of France?" },
      { "role": "assistant", "content": "Paris" },
      { "role": "assistant", "content": "The capital of France is Paris." }
    ],
    "reference_answer": { "text": "Paris" }
  }
]

OpenAI ペイロードに関する注意事項:

verl 形式

[
  {
    "data_source": "openai/gsm8k",
    "prompt": [
      { "role": "user", "content": "What is the capital of France?" },
      { "role": "assistant", "content": "The capital of France is Paris." }
    ],
    "response": "The capital of France is Paris.",
    "reward_model": { "style": "rule", "ground_truth": "Paris" },
    "extra_info": {
      "reference_answer": { "text": "Paris" },
      "processor_config": { "aggregation": "mean" }
    }
  }
]

verl ペイロードに関する注意事項:

Hugging Face Prompt-Completion 形式

[
  {
    "id": "123",
    "prompt": "What is the capital of France?",
    "completion": "The capital of France is Paris.",
    "reference_answer": { "text": "Paris" }
  }
]

Hugging Face Prompt-Completion ペイロードに関する注意事項:

Hugging Face Preference 形式

[
  {
    "id": "123",
    "prompt": "What is the capital of France?",
    "completion": "The capital of France is Paris.",
    "chosen": "Paris",
    "rejected": "London",
    "reference_answer": { "text": "Paris" }
  }
]

Hugging Face Preference ペイロードに関する注意事項:

SageMaker AI 評価形式

[
  {
    "id": "123",
    "model_response": "The capital of France is Paris.",
    "query": "What is the capital of France?",
    "response": "Paris",
    "system": "You are a helpful assistant.",
    "reference_answer": { "text": "Paris" }
  }
]

SageMaker AI 評価ペイロードに関する注意事項:

Lambda 出力ペイロードのサンプル

AWS Lambda 関数は、入力サンプルごとに 1 つの結果オブジェクトを返す必要があります。SageMaker AI 評価コンテナは、2 つのレスポンスエンベロープのいずれかを受け入れます。

オプション A – Raw リスト (推奨)

[
  {
    "id": "123",
    "aggregate_reward_score": 0.85,
    "metrics_list": [
      { "name": "factual_accuracy", "value": 0.9, "type": "Reward" },
      { "name": "format_compliance", "value": 0.8, "type": "Metric" }
    ]
  }
]

オプション B – API Gateway スタイルのラッパー

この形式では、 bodyは結果リストの JSON エンコードされた文字列です。これは Studio の「報酬関数の作成」テンプレートによって出力される形式です。

{
  "statusCode": 200,
  "body": "[{\"id\": \"123\", \"aggregate_reward_score\": 0.85, \"metrics_list\": [...]}]"
}

次の注意事項は、両方のレスポンスエンベロープに適用されます。

カスタム Lambda 定義

サンプル入力と予想される出力を備えた完全に実装されたカスタムスコアラーの例については、https://docs.aws.amazon.com/sagemaker/latest/dg/nova-implementing-reward-functions.html#nova-reward-llm-judge-example を参照してください。

次のスケルトンを独自の関数の開始点として使用します。

def lambda_handler(event, context):
    return lambda_grader(event)

def lambda_grader(samples: list[dict]) -> list[dict]:
    """
    Args:
        Samples: List of dictionaries; each sample's shape mirrors your evaluation dataset format
            (OpenAI, verl, Hugging Face Prompt-Completion, Hugging Face Preference, or SageMaker Evaluation).
            See the Sample Lambda Input Payload section above for the per-format shape.
            
        # Example shown is the OpenAI format; other dataset formats use different fields.
        Example input:
        {
            "id": "123",
            "messages": [
                {
                    "role": "user",
                    "content": "Do you have a dedicated security team?"
                },
                {
                    "role": "assistant",
                    "content": "As an AI developed by Company, I do not have a dedicated security team..."
                }
            ],
            # reference_answer contents vary by dataset; reference_answer.text holds the normalized ground truth
            "reference_answer": {
                "text": "No, as an AI developed by Company, I do not have a dedicated security team."
            }
        }
        
    Returns:
        List of dictionaries with reward scores:
        {
            "id": str,                              # Same id as input sample
            "aggregate_reward_score": float,        # Overall score for the sample
            "metrics_list": [                       # OPTIONAL: Component scores
                {
                    "name": str,                    # Name of the component score
                    "value": float,                 # Value of the component score
                    "type": str                     # "Reward" or "Metric"
                }
            ]
        }
    """

入力フィールドと出力フィールド

入力フィールド

出力フィールド

必要な許可

評価の実行に使用する SageMaker 実行ロールに AWS Lambda アクセス許可があることを確認します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": "arn:aws:lambda:region:account-id:function:function-name"
        }
    ]
}

AWS Lambda 関数の実行ロールに、基本的な Lambda 実行アクセス許可と、ダウンストリーム AWS 呼び出しに必要な追加のアクセス許可があることを確認します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "arn:aws:logs:*:*:*"
    }
  ]
}