기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 사용자 지정 분류기 지표
Amazon Comprehend는 사용자 지정 분류기의 성능을 추정하는 데 도움이 되는 지표를 제공합니다. Amazon Comprehend는 분류기 학습 작업의 테스트 데이터를 사용하여 지표를 계산합니다. 지표는 학습 중 모델의 성능을 정확하게 나타내므로 유사한 데이터를 분류할 때 모델 성능을 근사치로 계산합니다.
[DescribeDocumentClassifier](https://docs.aws.amazon.com/comprehend/latest/APIReference/API_DescribeDocumentClassifier.html)와 같은 API 작업을 사용하여 사용자 지정 분류기에 대한 지표를 검색할 수 있습니다.
**참고**
기본 정밀도, 재현율 및 F1 점수 지표에 대한 이해는 [지표: 정밀도, 재현율, FScore](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_fscore_support.html)를 참조하세요. 이러한 지표는 클래스 수준에서 정의됩니다. Amazon Comprehend는 다음에서 설명하는 것처럼 **매크로** 평균을 사용하여 이러한 지표를 테스트 세트 P, R 및 F1에 결합합니다.
**Topics**
+ [Metrics](#cer-doc-class-metrics)
+ [사용자 지정 분류기의 성능 개선](#improving-metrics-doc)
## Metrics
Amazon Comprehend는 다음 지표를 지원합니다.
**Topics**
+ [정확도](#class-accuracy-metric)
+ [정밀도(매크로 정밀도)](#class-macroprecision-metric)
+ [재현율(매크로 재현율)](#class-macrorecall-metric)
+ [F1 점수(매크로 F1 점수)](#class-macrof1score-metric)
+ [해밍 손실](#class-hammingloss-metric)
+ [마이크로 정밀도](#class-microprecision-metric)
+ [마이크로 재현율](#class-microrecall-metric)
+ [마이크로 F1 점수](#class-microf1score-metric)
분류기의 지표를 보려면 콘솔에서 분류기 **세부 정보** 페이지를 여십시오.
![\[사용자 지정 분류기 지표\]](http://docs.aws.amazon.com/ko_kr/comprehend/latest/dg/images/classifierperformance.png)
### 정확도
정확도는 모델이 정확하게 예측한 테스트 데이터의 레이블 비율을 나타냅니다. 정확도를 계산하려면 테스트 문서에서 정확하게 예측된 레이블 수를 테스트 문서의 총 레이블 수로 나눕니다.
예제
| 실제 레이블 | 예측 레이블 | 정확/부정확 |
| --- | --- | --- |
| 1 | 1 | 정확 |
| 0 | 1 | 부정확: |
| 2 | 3 | 부정확: |
| 3 | 3 | 정확 |
| 2 | 2 | 정확 |
| 1 | 1 | 정확 |
| 3 | 3 | 정확 |
정확도는 정확한 예측 수를 전체 테스트 표본 수로 나눈 값(= 5/7 = 0.714 또는 71.4%)으로 구성됩니다.
### 정밀도(매크로 정밀도)
정밀도는 테스트 데이터에서 분류기 결과의 유용성을 측정한 것입니다. 정확하게 분류된 문서 수를 해당 클래스의 총 분류 수로 나눈 값으로 정의됩니다. 정밀도가 높다는 것은 관련성이 없는 결과보다 관련성이 있는 결과를 분류기가 훨씬 더 많이 반환했음을 의미합니다.
이 `Precision` 지표는 *매크로 정밀도*라고도 합니다.
다음 예제는 테스트 세트의 정밀도 결과를 보여줍니다.
| Label | 샘플 크기 | 레이블 정밀도 |
| --- | --- | --- |
| 레이블\$11 | 400 | 0.75 |
| 레이블\$12 | 300 | 0.80 |
| 레이블\$13 | 30000 | 0.90 |
| 레이블\$14 | 20 | 0.50 |
| 레이블\$15 | 10 | 0.40 |
따라서 모델의 정밀도(매크로 정밀도) 측정법은 다음과 같습니다.
```
Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67
```
### 재현율(매크로 재현율)
이는 모델이 예측할 수 있는 텍스트의 올바른 카테고리 비율을 나타냅니다. 이 지표는 사용 가능한 모든 레이블의 재현율 점수 평균 결과입니다. 재현율은 테스트 데이터에 대한 분류기 결과의 완전성을 나타내는 척도입니다.
재현율이 높다는 것은 분류기가 관련 결과를 대부분 반환했음을 의미합니다.
이 `Recall` 지표는 *매크로 재현율*이라고도 합니다.
다음 예는 테스트 세트의 재현율 결과를 보여줍니다.
| Label | 샘플 크기 | 레이블 재현율 |
| --- | --- | --- |
| 레이블\$11 | 400 | 0.70 |
| 레이블\$12 | 300 | 0.70 |
| 레이블\$13 | 30000 | 0.98 |
| 레이블\$14 | 20 | 0.80 |
| 레이블\$15 | 10 | 0.10 |
따라서 모델의 재현율(매크로 재현율) 지표는 다음과 같습니다.
```
Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656
```
### F1 점수(매크로 F1 점수)
F1 점수는 `Precision` 및 `Recall` 값에서 파생됩니다. 이 속성은 분류기의 전반적인 정확도를 측정합니다. 최고 점수는 1이고, 최저 점수는 0입니다.
Amazon Comprehend는 *매크로 F1 점수*를 계산합니다. 이 점수는 레이블 F1 점수의 가중치가 적용되지 않은 평균입니다. 다음 테스트 세트를 예로 들어 보겠습니다.
| Label | 샘플 크기 | 레이블 F1 점수 |
| --- | --- | --- |
| 레이블\$11 | 400 | 0.724 |
| 레이블\$12 | 300 | 0.824 |
| 레이블\$13 | 30000 | 0.94 |
| 레이블\$14 | 20 | 0.62 |
| 레이블\$15 | 10 | 0.16 |
모델의 F1 점수(매크로 F1 점수)는 다음과 같이 계산됩니다.
```
Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536
```
### 해밍 손실
레이블의 잘못 예측된 부분. 전체 레이블 수 대비 잘못된 레이블의 비율로도 볼 수 있습니다. 점수가 0에 가까울수록 좋습니다.
### 마이크로 정밀도
원본:
마이크로 정밀도는 모든 정밀도 점수를 합산한 전체 점수를 기반으로 한다는 점을 제외하면 정밀 측정법과 비슷합니다.
### 마이크로 재현율
마이크로 재현율은 모든 재현율 점수의 전체 점수를 합산하여 계산한다는 점을 제외하면 재현율 지표와 유사합니다.
### 마이크로 F1 점수
마이크로 F1 점수는 마이크로 정밀도 지표와 마이크로 재현율 지표의 조합입니다.
## 사용자 지정 분류기의 성능 개선
지표는 분류 작업 중에 사용자 지정 분류기가 어떻게 수행되는지에 대한 인사이트를 제공합니다. 지표가 낮으면 분류 모델이 사용 사례에 효과적이지 않을 수 있습니다. 분류기 성능을 개선할 수 있는 몇 가지 옵션이 있습니다.
1. 학습 데이터에서 범주의 명확한 구분을 정의하는 구체적인 예를 제공하십시오. 예를 들어, 고유한 단어/문장을 사용하여 범주를 나타내는 문서를 제공하십시오.
1. 학습 데이터에 제대로 표현되지 않은 레이블에 대한 데이터를 더 추가하십시오.
1. 카테고리의 편중을 줄이도록 하십시오. 데이터에서 가장 큰 레이블이 가장 작은 레이블에 있는 문서의 10배 이상인 경우 가장 작은 레이블의 문서 수를 늘려 보십시오. 대표성이 높은 클래스와 대표성이 가장 낮은 클래스 간의 왜곡 비율을 많으면 10:1까지 줄여야 합니다. 대표성이 높은 클래스에서 입력 문서를 제거해 볼 수도 있습니다.