不确定性方法的定量比较

本部分介绍了我们如何使用语言可接受性语料库 (CoLa)（Warstadt、Singh 和 Bowman，2019年）数据集比较估算不确定性的方法。CoLA 数据集由一组句子以及一个表示句子是否可接受的二进制指标组成。句子可能由于多种原因被标记为不可接受，包括语法、语义或词法不当。这些句子摘自语言出版物中的示例。存在两个验证集。一个验证集取自形成训练数据集时使用的相同来源（域内），另一个验证集取自训练集中未包含的源（域外）。下表对该信息进行了汇总。

比较使用了带有预训练权重的 RoBERTa（Liu 等人，2019 年）基础架构，以及带有单个隐藏层的随机初始化头部。RobertA 论文中主要建议使用超参数，但有一些细微的修改。