기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 모델의 성능 평가
<a name="canvas-scoring"></a>

Amazon SageMaker Canvas는 다양한 유형의 모델에 대한 개요 및 점수 정보를 제공합니다. 모델의 점수는 예측 시 모델이 얼마나 정확한지 판단하는 데 도움이 될 수 있습니다. 추가 점수 평가 통찰력은 실제 값과 예측 값 간의 차이를 정량화하는 데 도움이 될 수 있습니다.

모델 분석을 보려면 다음 작업을 수행합니다.

1. SageMaker Canvas 애플리케이션을 엽니다.

1. 왼쪽 탐색 창에서 **내 모델**을 선택합니다.

1. 빌드한 모델을 선택합니다.

1. 탐색 창에서 **분석** 탭을 선택합니다.

1. **분석** 탭에서 모델의 개요 및 점수 평가 정보를 볼 수 있습니다.

다음 섹션에서는 각 모델 유형에 대한 점수 평가를 해석하는 방법을 설명합니다.

## 범주형 예측 모델 평가
<a name="canvas-scoring-categorical"></a>

**개요** 탭에는 각 열에 대한 열 영향이 표시됩니다. **열 영향**은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.

다음 스크린샷은 모델을 구축할 때 최적화하기 위해 선택한 지표인 **최적화 지표**와 함께 모델의 **정확도** 점수를 보여줍니다. 이 경우 **최적화 지표**는 **정확도**입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다.

![\[Canvas의 분석 탭에 있는 정확도 점수 및 최적화 지표의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/analyze-tab-2-category.png)


범주형 예측 모델의 **점수 평가** 탭에서는 모든 예측을 시각화할 수 있습니다. 선 세그먼트는 페이지 왼쪽부터 확장되어 모델이 수행한 모든 예측을 나타냅니다. 페이지 중앙의 선 세그먼트는 수직 세그먼트로 수렴하여 단일 범주에 대한 각 예측의 비율을 나타냅니다. 예측된 범주에서 세그먼트는 실제 범주로 분기됩니다. 예측 범주에서 실제 범주까지 각 선 세그먼트를 따라가면 예측의 정확도를 시각적으로 파악할 수 있습니다.

다음 이미지는 **3개 이상의 범주 예측** 모델에 대한 **점수 평가** 섹션의 예시입니다.

![\[3개 이상의 범주 예측 모델에 대한 점수 평가 탭의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/canvas-analyze/canvas-multiclass-classification.png)


**고급 지표** 탭에서 고급 지표, 오류 밀도 플롯 또는 혼동 행렬과 같이 모델의 성능에 대한 자세한 내용을 참조할 수도 있습니다. **고급 지표**에 대한 자세한 내용은 [분석에 고급 지표 사용](canvas-advanced-metrics.md) 섹션을 참조하세요.

## 숫자 예측 모델 평가
<a name="canvas-scoring-numeric"></a>

**개요** 탭에는 각 열에 대한 열 영향이 표시됩니다. **열 영향**은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.

다음 스크린샷은 **개요** 탭에 있는 모델의 **RMSE** 점수를 보여줍니다(이 경우 **최적화 지표**). **최적화 지표**는 모델을 구축할 때 최적화하기 위해 선택하는 지표입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다.

![\[Canvas의 분석 탭에 있는 RMSE 최적화 지표의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/analyze-tab-2-numeric.png)


숫자 예측을 위한 **점수 평가** 탭에는 예측에 사용된 데이터와 관련하여 모델의 예측 값을 나타내는 선이 표시됩니다. 숫자 예측 값은 대개 \$1/- RMSE (근 평균 제곱 오차) 값입니다. 모델이 예측하는 값은 대개 RMSE 범위 내에 있습니다. 선 주위의 보라색 띠 너비는 RMSE 범위를 나타냅니다. 예측 값은 종종 범위 내에 있습니다.

다음 이미지는 숫자 예측에 대한 **점수 평가** 섹션을 보여줍니다.

![\[숫자 예측 모델에 대한 점수 평가 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/canvas-analyze/canvas-analyze-regression-scoring.png)


**고급 지표** 탭에서 고급 지표, 오류 밀도 플롯 또는 혼동 행렬과 같이 모델의 성능에 대한 자세한 내용을 참조할 수도 있습니다. **고급 지표**에 대한 자세한 내용은 [분석에 고급 지표 사용](canvas-advanced-metrics.md) 섹션을 참조하세요.

## 시계열 예측 모델 평가
<a name="canvas-scoring-time-series"></a>

시계열 예측 모델의 **분석** 페이지에서 모델 지표의 개요를 볼 수 있습니다. 각 지표를 마우스로 가리켜 자세한 내용을 보거나 각 지표에 대한 정보를 [분석에 고급 지표 사용](canvas-advanced-metrics.md) 섹션에서 확인할 수 있습니다.

**열 영향** 섹션에서 각 열의 점수를 볼 수 있습니다. **열 영향**은 다른 열과 관련하여 예측을 수행할 때 해당 열의 가중치를 나타내는 백분율 점수입니다. 한 열 영향이 25%인 경우 Canvas는 해당 열에 대해 25%, 다른 열에 대해 75%로 예측 가중치를 적용합니다.

다음 스크린샷은 모델을 빌드할 때 최적화하기 위해 선택하는 지표인 **최적화 지표**와 함께 모델에 대한 시계열 지표 점수를 보여줍니다. 이 경우 **최적화 지표는** **RMSE**입니다. 모델의 새 버전을 빌드하는 경우 다른 최적화 지표를 지정할 수 있습니다. 이러한 지표 점수는 **아티팩트** 탭에서 다운로드할 수 있는 백테스트 결과에서 가져옵니다.

![\[Canvas의 분석 탭에 있는 RMSE 최적화 지표의 스크린샷입니다.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/analyze-tab-2-time-series.png)


**아티팩트** 탭에서는 모델의 성능을 심층적으로 살펴보고 계속 반복하는 데 사용할 수 있는 몇 가지 주요 리소스에 액세스할 수 있습니다.
+ **셔플 훈련 및 검증 분할** - 이 섹션에는 데이터세트가 훈련 및 검증 세트로 분할될 때 생성된 아티팩트에 대한 링크가 포함되어 있으므로 데이터 배포 및 잠재적 편향을 검토할 수 있습니다.
+ **백테스트 결과** - 이 섹션에는 모델의 정확도 지표 및 평가 데이터를 생성하는 데 사용되는 검증 데이터세트의 예측 값에 대한 링크가 포함되어 있습니다.
+ **정확도 지표** - 이 섹션에는 Root Mean Squared Error(RMSE)와 같이 모델의 성능을 평가하는 고급 지표가 나열되어 있습니다. 각 지표에 대한 자세한 내용은 [시계열 예측용 지표](canvas-metrics.md#canvas-time-series-forecast-metrics) 섹션을 참조하세요.
+ **설명 가능성 보고서** - 이 섹션에서는 설명 가능성 보고서를 다운로드할 수 있는 링크를 제공합니다. 이 보고서를 통해 모델의 의사 결정 프로세스와 입력 열의 상대적 중요성에 대한 인사이트를 얻을 수 있습니다. 이 보고서는 개선이 필요한 잠재적 영역을 식별하는 데 도움이 될 수 있습니다.

**분석** 페이지에서 **다운로드** 버튼을 선택하여 백테스트 결과, 정확도 지표 및 설명 가능성 보고서 아티팩트를 로컬 머신에 직접 다운로드할 수도 있습니다.

## 이미지 예측 모델 평가
<a name="canvas-scoring-image"></a>

**개요** 탭에는 **레이블별 성능**이 표시되며, 각 레이블에 대해 예측된 이미지의 전체 정확도 점수를 확인할 수 있습니다. 레이블을 선택하면 레이블에 대해 **정확하게 예측된** 이미지 및 **잘못 예측된** 이미지와 같은 보다 구체적인 세부 정보를 볼 수 있습니다.

**열 지도** 토글을 켜서 각 이미지의 열 지도를 볼 수 있습니다. 열 지도는 모델이 예측을 수행할 때 가장 큰 영향을 미치는 관심 영역을 보여줍니다. 열 지도에 대한 자세한 내용과 이를 사용하여 모델을 개선하는 방법을 알아보려면 **열 지도** 토글 옆에 있는 **추가 정보** 아이콘을 선택하세요.

단일 레이블 이미지 예측 모델의 **점수 평가** 탭에서는 모델이 레이블로 예측한 것과 실제 레이블을 비교하여 보여줍니다. 한번에 최대 10개의 레이블을 선택할 수 있습니다. 레이블 드롭다운 메뉴를 선택하고 레이블을 선택하거나 선택 취소하여 시각화에서 레이블을 변경할 수 있습니다.

**모델 정확도 통찰력** 섹션에서 드롭다운에 대한 **점수 보기** 메뉴를 선택하여 정확도가 가장 높거나 가장 낮은 세 개의 레이블과 같은 개별 레이블 또는 레이블 그룹에 대한 통찰력을 볼 수 있습니다.

다음 스크린샷은 단일 레이블 이미지 예측 모델의 **점수 평가** 정보를 보여줍니다.

![\[다중 카테고리 텍스트 예측 모델에 대한 점수 평가 페이지의 실제 레이블과 예측 레이블\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/analyze-image-scoring.png)


## 텍스트 예측 모델 평가
<a name="canvas-scoring-text"></a>

**개요** 탭에는 각 레이블에 대해 예측된 텍스트 구절에 대한 전반적인 정확도 점수를 제공하는 **레이블당 성능**이 표시됩니다. 레이블을 선택하면 레이블의 **올바르게 예측된** 구절 및 **잘못 예측된** 구절과 같은 보다 구체적인 세부 정보를 볼 수 있습니다.

다중 카테고리 텍스트 예측 모델의 **점수 평가** 탭에서는 모델이 레이블로 예측한 것과 실제 레이블을 비교하여 보여줍니다.

**모델 정확도 통찰력** 섹션에서는 모델이 가장 자주 예측한 카테고리와 이러한 예측의 정확도를 알려주는 **가장 빈번한 카테고리**를 확인할 수 있습니다. 모델이 **긍정**이라는 레이블을 99%의 확률로 정확하게 예측한다면 모델이 텍스트의 긍정적 감정을 잘 예측한다고 확신할 수 있습니다.

다음 스크린샷은 다중 카테고리 텍스트 예측 모델의 **점수 평가** 정보를 보여줍니다.

![\[단일 레이블 이미지 예측 모델의 점수 평가 페이지에 있는 실제 레이블과 예상 레이블\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/studio/canvas/analyze-text-scoring.png)