翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# 開始方法
<a name="model-customize-evaluation-getting-started"></a>

## SageMaker Studio を介して評価ジョブを送信する
<a name="model-customize-evaluation-studio"></a>

### ステップ 1: モデルカードから評価に移動する
<a name="model-customize-evaluation-studio-step1"></a>

モデルをカスタマイズしたら、モデルカードから評価ページに移動します。

オープンウェイトカスタムモデルトレーニングの詳細については、[https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)

SageMaker は、カスタマイズしたモデルを My Models タブで視覚化します。

![\[登録済みモデルカードページ\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-registered-model-card.png)


最新バージョンを表示を選択し、評価を選択します。

![\[モデルのカスタマイズページ\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)


### ステップ 2: 評価ジョブを送信する
<a name="model-customize-evaluation-studio-step2"></a>

送信ボタンを選択し、評価ジョブを送信します。これにより、最小限の MMLU ベンチマークジョブが送信されます。

サポートされている評価ジョブタイプについては、「」を参照してください[評価タイプとジョブ送信](model-customize-evaluation-types.md)。

![\[評価ジョブの送信ページ\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)


### ステップ 3: 評価ジョブの進行状況を追跡する
<a name="model-customize-evaluation-studio-step3"></a>

評価ジョブの進行状況は、評価ステップタブで追跡されます。

![\[評価ジョブの進行状況\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)


### ステップ 4: 評価ジョブの結果を表示する
<a name="model-customize-evaluation-studio-step4"></a>

評価ジョブの結果は、評価結果タブで視覚化されます。

![\[評価ジョブのメトリクス\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-benchmark-results.png)


### ステップ 5: 完了した評価を表示する
<a name="model-customize-evaluation-studio-step5"></a>

完了した評価ジョブは、モデルカードの評価に表示されます。

![\[完了した評価ジョブ\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)


## SageMaker Python SDK を介して評価ジョブを送信する
<a name="model-customize-evaluation-sdk"></a>

### ステップ 1: BenchMarkEvaluator を作成する
<a name="model-customize-evaluation-sdk-step1"></a>

登録済みのトレーニング済みモデル、 AWS S3 出力場所、MLFlow リソース ARN を に渡`BenchMarkEvaluator`してから初期化します。

```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)
```

### ステップ 2: 評価ジョブを送信する
<a name="model-customize-evaluation-sdk-step2"></a>

`evaluate()` メソッドを呼び出して評価ジョブを送信します。

```
execution = evaluator.evaluate()
```

### ステップ 3: 評価ジョブの進行状況を追跡する
<a name="model-customize-evaluation-sdk-step3"></a>

実行の `wait()`メソッドを呼び出して、評価ジョブの進行状況のライブ更新を取得します。

```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```

### ステップ 4: 評価ジョブの結果を表示する
<a name="model-customize-evaluation-sdk-step4"></a>

`show_results()` メソッドを呼び出して、評価ジョブの結果を表示します。

```
execution.show_results()
```