기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 시작하기
<a name="model-customize-evaluation-getting-started"></a>

## SageMaker Studio를 통해 평가 작업 제출
<a name="model-customize-evaluation-studio"></a>

### 1단계: 모델 카드에서 평가로 이동
<a name="model-customize-evaluation-studio-step1"></a>

모델을 사용자 지정한 후 모델 카드에서 평가 페이지로 이동합니다.

개방형 사용자 지정 모델 훈련에 대한 자세한 내용은 [https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html) 참조하십시오.

SageMaker는 내 모델 탭에서 사용자 지정 모델을 시각화합니다.

![\[등록된 모델 카드 페이지\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-registered-model-card.png)


최신 버전 보기를 선택한 다음 평가를 선택합니다.

![\[모델 사용자 지정 페이지\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)


### 2단계: 평가 작업 제출
<a name="model-customize-evaluation-studio-step2"></a>

제출 버튼을 선택하고 평가 작업을 제출합니다. 이렇게 하면 최소 MMLU 벤치마크 작업이 제출됩니다.

지원되는 평가 작업 유형에 대한 자세한 내용은 섹션을 참조하세요[평가 유형 및 작업 제출](model-customize-evaluation-types.md).

![\[평가 작업 제출 페이지\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)


### 3단계: 평가 작업 진행 상황 추적
<a name="model-customize-evaluation-studio-step3"></a>

평가 작업 진행 상황은 평가 단계 탭에서 추적됩니다.

![\[평가 작업 진행 상황\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)


### 4단계: 평가 작업 결과 보기
<a name="model-customize-evaluation-studio-step4"></a>

평가 작업 결과는 평가 결과 탭에 시각화됩니다.

![\[평가 작업 지표\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-benchmark-results.png)


### 5단계: 완료된 평가 보기
<a name="model-customize-evaluation-studio-step5"></a>

완료된 평가 작업은 모델 카드의 평가에 표시됩니다.

![\[완료된 평가 작업\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)


## SageMaker Python SDK를 통해 평가 작업 제출
<a name="model-customize-evaluation-sdk"></a>

### 1단계: BenchMarkEvaluator 생성
<a name="model-customize-evaluation-sdk-step1"></a>

등록된 훈련된 모델, AWS S3 출력 위치 및 MLFlow 리소스 ARN을에 전달`BenchMarkEvaluator`한 다음 초기화합니다.

```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)
```

### 2단계: 평가 작업 제출
<a name="model-customize-evaluation-sdk-step2"></a>

`evaluate()` 메서드를 호출하여 평가 작업을 제출합니다.

```
execution = evaluator.evaluate()
```

### 3단계: 평가 작업 진행 상황 추적
<a name="model-customize-evaluation-sdk-step3"></a>

실행 `wait()` 메서드를 호출하여 평가 작업 진행 상황을 실시간으로 업데이트합니다.

```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```

### 4단계: 평가 작업 결과 보기
<a name="model-customize-evaluation-sdk-step4"></a>

`show_results()` 메서드를 호출하여 평가 작업 결과를 표시합니다.

```
execution.show_results()
```