결론

이 설명서는 딥 러닝 시스템의 불확실성에 대한 개념적 개요를 제공했습니다. 이 설명서는 배포 내 및 배포 외 설정 모두에서 자연어 처리(NLP)를 위한 학습 전송 시나리오를 다루도록 기존 문헌을 확장하는 실험에 대해 설명했습니다. 마지막으로, 규제가 심한 산업에서 데이터 사이언티스트가 이러한 개념을 업무에 적용할 수 있는 방법에 대한 로드맵 역할을 하는 사례 연구를 제공했습니다.

딥 러닝 네트워크의 불확실성을 정량화할 때는 일반적으로 딥 앙상블을 이용한 온도 스케일링을 사용하는 것이 좋습니다. 온도 스케일링은 수신 데이터가 분포되어 있을 때 해석 가능한 불확실성 추정치를 제공합니다. 따라서 온도 스케일링은 소프트맥스의 불확실성을 너무 과신하지 않도록 조정하여 전체 불확실성을 해결합니다. 모델에 검증 데이터 세트를 훈련시킨 후에는 이 검증 데이터 세트에 대해 온도 스케일링을 수행해야 합니다.

딥 앙상블은 현재 데이터가 분포를 벗어난 경우의 불확실성에 대한 최첨단 추정치를 제공합니다. 훈련 데이터와 다른 데이터를 제시하면 인식적 불확실성이 더 높은 추정치를 얻을 수 있습니다. 이는 딥 앙상블을 구성하는 기본 모델의 다양성이 강하기 때문입니다. 대부분의 상황에서는 다섯 가지 모델이면 충분하다고 생각합니다.

인프라에 대한 추가 부하로 인해 다중 모델을 호스팅하는 것이 문제가 되는 경우와 전이 학습(즉, 사전 훈련된 가중치를 사용하는 경우)의 두 가지 시나리오에서는 딥 앙상블의 대안으로 MC 드롭아웃을 고려하는 것이 좋습니다. 다중 모델의 호스팅 요구 사항이 우려되는 경우 MC 드롭아웃은 딥 앙상블의 유효한 대안입니다. 딥 앙상블을 대체하기 위해 MC 드롭아웃을 사용하는 경우 데이터를 더 많이 반복하기 위해 계산 지연 시간을 약간 줄일 수 있도록 대비해야 합니다. 적절한 범위로 30~100회 반복하는 것이 좋습니다. 전이 학습에서는 앙상블된 기본 학습자 간의 다양성이 줄어들 것입니다. 즉, 기본 모델 가중치가 서로 더 비슷해질 것입니다. 이것이 바로 전이 학습, 특히 분산되지 않은 데이터가 있는 환경에서 총 예측 불확실성이 낮을 수 있는 이유입니다. 따라서 전이 학습 상황에서는 딥 앙상블을 보완하거나 MC 드롭아웃으로 대체하는 것을 고려해 보십시오.