不確実性法の定量的比較

このセクションでは、Corpus of Linguistic Acceptability (CoLA)(Warstadt、Singh、and Bowman 2019) データセットを用いて、不確実性を推定する方法を比較した方法を説明します。CoLA データセットは、一連の文章と、それらが許容されるかどうかを示すバイナリ指標で構成されています。文は、不適切な構文、意味、形態論など、さまざまな理由で容認できないとのレッテルを貼られることがあります。これらの文章は、言語学の出版物に掲載されている例文から抜粋したものです。2 つの検証セットがあります。一方の検証セットは、トレーニングデータセットを形成する際に使用されたのと同じソースから取られ (ドメイン内) 、もう一方の検証セットは、トレーニングセットに含まれていないソースから取られます (ドメイン外)。以下の表は、これらの情報を要約したものです。

この比較では、RoBERTa (Liu et al.2019) のベースアーキテクチャを使用し、事前に訓練された重みと、1 つの隠れ層を持つランダムに初期化されたヘッドを持ちます。ハイパーパラメータは、RoBERTa のペーパーで提案されているものに若干の修正を加えたものです。