不確定方法的量化比較

本節說明如何比較使用語言可接受性 (CoLA) Corpus (Warstadt、Singh 和 Bowman 2019) 資料集來估計不確定性的方法。CoLA 資料集包含一組句子，以及是否可接受的二進位指標。句子可能因各種原因而標示為無法接受，包括不當語法、語意或形態。這些句子取自語言出版物中的範例。有兩個驗證集。一個驗證集是從用來形成訓練資料集的相同來源取得 （在網域中），另一個驗證集則是從訓練集未包含的來源取得 （超出網域）。下表摘要說明此資訊。

此比較使用 RoBERTa (Liu et al. 2019) 基礎架構，其中包含預先訓練的權重，以及具有單一隱藏層的隨機初始化頭部。超參數大多建議在 RoBERTa 論文中，進行一些微幅修改。