불확실성 방법의 정량적 비교

이 섹션에서는 CoLA(Corpus of Linguistic Acceptability)(Warstadt, Singh 및 Bowman 2019) 데이터세트를 사용하여 불확실성을 추정하는 방법을 어떻게 비교하는지 설명합니다. CoLA 데이터세트는 문장이 허용 가능한지 여부를 나타내는 이진 지표와 함께 이러한 문장의 모음으로 구성됩니다. 문장은 잘못된 구문, 의미론, 형태론 등 다양한 이유로 허용되지 않는 것으로 분류될 수 있습니다. 이 문장들은 언어 출판물의 예제에서 발췌한 것입니다. 검증 세트는 두 가지가 있습니다. 검증 세트 하나는 (도메인에 있는) 훈련 데이터세트를 구성하는 데 사용된 것과 동일한 소스에서 가져오고, 다른 검증 세트 하나는 (도메인 외부에 있는) 훈련 세트에 포함되지 않은 소스에서 가져온 것입니다. 다음 표는 이 정보를 요약한 것입니다.

비교 시 사전 훈련된 가중치가 있는 RoBERTa(Liu et al. 2019) 기본 아키텍처와 숨겨진 단일 계층이 있는 무작위로 초기화된 헤드를 사용합니다. 하이퍼파라미터는 대부분 RoBERTa 논에서 몇 가지 사소한 수정을 거쳐 제안된 것입니다.