모델 성능 지표 - Amazon Fraud Detector

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 성능 지표

모델 훈련이 완료되면 Amazon Fraud Detector는 모델 훈련에 사용되지 않은 데이터의 15%를 사용하여 모델 성능을 검증합니다. 훈련된 Amazon Fraud Detector 모델은 검증 성능 지표와 유사한 실제 사기 탐지 성능을 가질 것으로 예상할 수 있습니다.

기업으로서 더 많은 사기를 탐지하고 합법적인 고객에게 마찰을 더하는 것 사이의 균형을 맞춰야 합니다. Amazon Fraud Detector는 올바른 밸런스를 선택하는 데 도움이 되도록 모델 성능을 평가하는 다음과 같은 도구를 제공합니다.

  • 점수 분포 차트 - 모델 점수 분포의 히스토그램은 100,000개의 이벤트로 구성된 예제 모집단을 가정합니다. 왼쪽 Y축은 합법적인 이벤트를 나타내고 오른쪽 Y축은 사기 이벤트를 나타냅니다. 차트 영역을 클릭하여 특정 모델 임계값을 선택할 수 있습니다. 그러면 혼동 행렬 및 ROC 차트의 해당 뷰가 업데이트됩니다.

  • 혼동 행렬 - 모델 예측과 실제 결과를 비교하여 지정된 점수 임계값에 대한 모델 정확도를 요약합니다. Amazon Fraud Detector는 100,000개의 이벤트로 구성된 예제 모집단을 가정합니다. 사기 및 합법적인 이벤트의 배포는 비즈니스의 사기율을 시뮬레이션합니다.

    • 참 긍정 - 모델은 사기를 예측하고 이벤트는 실제로 사기입니다.

    • 거짓 긍정 - 모델은 사기를 예측하지만 이벤트는 실제로 합법적입니다.

    • 참 부정 - 모델은 합법적이고 이벤트는 실제로 합법적임을 예측합니다.

    • 거짓 부정 - 모델은 합법적이라고 예측하지만 실제로는 이벤트가 사기입니다.

    • 참 긍정률(TPR) - 모델이 탐지한 총 사기의 비율입니다. 캡처 속도라고도 합니다.

    • FPR(False positive rate) - 사기로 잘못 예측된 총 합법적인 이벤트의 비율입니다.

  • 수신기 연산자 곡선(ROC) - 가능한 모든 모델 점수 임계값에 대해 거짓 긍정 비율의 함수로 실제 긍정 비율을 표시합니다. 고급 지표를 선택하여이 차트를 봅니다.

  • 곡선하 면적(AUC) - 가능한 모든 모델 점수 임계값에서 TPR 및 FPR을 요약합니다. 예측력이 없는 모델은 AUC가 0.5인 반면, 완벽한 모델은 점수가 1.0입니다.

  • 불확실성 범위 - 모델에서 예상되는 AUC 범위를 보여줍니다. 범위가 클수록(AUC > 0.1의 상한 및 하한 차이) 모델 불확실성이 높아집니다. 불확실성 범위가 크면(>0.1) 레이블이 더 많은 이벤트를 제공하고 모델을 재학습하는 것이 좋습니다.

모델 성능 지표를 사용하려면

  1. 점수 분포 차트부터 시작하여 사기 및 합법적인 이벤트에 대한 모델 점수 분포를 검토합니다. 이상적으로는 사기와 합법적인 이벤트가 명확하게 구분됩니다. 이는 모델이 사기성 이벤트와 합법적인 이벤트를 정확하게 식별할 수 있음을 나타냅니다. 차트 영역을 클릭하여 모델 임계값을 선택합니다. 모델 점수 임계값을 조정하면 실제 긍정 및 거짓 긍정 비율에 어떤 영향을 미치는지 확인할 수 있습니다.

    참고

    점수 분포 차트는 사기와 합법적인 이벤트를 서로 다른 두 Y축에 표시합니다. 왼쪽 Y축은 합법적인 이벤트를 나타내고 오른쪽 Y축은 사기 이벤트를 나타냅니다.

  2. 혼동 행렬을 검토합니다. 선택한 모델 점수 임계값에 따라 100,000개의 이벤트 샘플을 기반으로 시뮬레이션된 영향을 볼 수 있습니다. 사기 및 합법적인 이벤트의 배포는 비즈니스의 사기율을 시뮬레이션합니다. 이 정보를 사용하여 참 긍정 비율과 거짓 긍정 비율 간의 적절한 균형을 찾을 수 있습니다.

  3. 자세한 내용을 보려면 고급 지표를 선택합니다. ROC 차트를 사용하여 모델 점수 임계값에 대한 참 긍정 비율과 거짓 긍정 비율 간의 관계를 이해합니다. ROC 곡선은 참 긍정 비율과 거짓 긍정 비율 간의 균형을 미세 조정하는 데 도움이 될 수 있습니다.

    참고

    테이블을 선택하여 테이블 형식의 지표를 검토할 수도 있습니다.

    테이블 보기에는 지표 정밀도도 표시됩니다. 정밀도는 사기로 예측된 모든 이벤트와 비교하여 사기로 정확하게 예측된 사기 이벤트의 백분율입니다.

  4. 성능 지표를 사용하여 목표 및 사기 탐지 사용 사례에 따라 비즈니스에 최적의 모델 임계값을 결정합니다. 예를 들어 모델을 사용하여 새 계정 등록을 고위험, 중간 또는 저위험으로 분류하려는 경우 다음과 같이 세 가지 규칙 조건의 초안을 작성할 수 있도록 두 개의 임계값 점수를 식별해야 합니다.

    • 점수 > X는 위험이 높습니다.

    • 점수 < X이지만 > Y는 중간 위험입니다.

    • 점수가 < Y이면 위험이 낮습니다.