부록 C. 기타 고려 사항 및 주목할 만한 메서드

이 가이드는 신뢰할 수 있는 불확실성 측정을 확인하는 가장 실용적이고 효과적인 방법을 다룹니다. 또한 분포 이탈 퇴화 및 결정론적 과신과 같은 일부 주요 병리 현상에 대해서도 다룹니다. 다른 최신 기법으로는 결정론적 불확실성 정량화(DUQ) (van Amersfoort 외. 2020) 및 예측 시간 배치 정규화 (Nado 외. 2020)가 있습니다.

DUQ는 기존의 소프트맥스 함수를 활용하지 않는 새로운 종류의 딥 러닝 분류기입니다. 대신 DUQ는 분포 이탈 데이터에 대해 신뢰할 수 있는 불확실성을 제공합니다. DUQ는 특징 벡터에 매핑하기 위해 클래스별 가중치 행렬 W_c로 변환된 벡터인 f(x)를 출력합니다. 이 특징 벡터와 학습된 중심(각 클래스당 중심 하나) 사이의 거리는 해당하는 불확실성을 나타냅니다. 가장 가까운 중심까지의 거리를 예측 불확실성으로 간주합니다. 특징 벡터는 모델의 평활도를 정규화하여 분포를 벗어난 데이터의 중심으로부터 멀리 떨어진 곳에 매핑할 수 있습니다. 새로운 정규화 방법은 일반화를 저해할 정도로 많이 변경하지 않으면서 출력의 변화가 입력의 변화와 일치하도록 평활도를 조정합니다. DUQ는 불확실성을 모델링하는 새로운 유망한 방법이며, 분포를 벗어난 환경에서 신뢰할 수 있는 불확실성을 찾기 위한 딥 앙상블에 대안을 제공합니다. 자세한 내용은 참고 문헌 섹션의 간행물을 참조하십시오.

주목할 만한 또 다른 방법은 배포 불능의 안정성을 위한 예측 시간 배치 정규화입니다(Nado 외. 2020). 이 기법은 단 몇 줄의 코드만으로 구현할 수 있으며 딥 앙상블을 보완하는 방식으로 분포 외 데이터를 사용하여 불확실성 신뢰성을 개선한다고 주장합니다. 이 방법에 대한 흥미로운 주의 사항은 사전 교육 환경에서는 불확실성의 질이 실제로 저하되어 향후 작업에 대한 의문이 제기된다는 것입니다.