Confronto quantitativo dei metodi di incertezza

Questa sezione descrive come abbiamo confrontato i metodi per stimare l'incertezza utilizzando il set di dati Corpus of Linguistic Acceptability (CoLA) (Warstadt, Singh e Bowman 2019). Il set di dati CoLA è costituito da una raccolta di frasi insieme a un indicatore binario che indica se sono accettabili. Le frasi possono essere etichettate come inaccettabili per una serie di motivi, tra cui sintassi, semantica o morfologia improprie. Queste frasi sono tratte da esempi tratti da pubblicazioni linguistiche. Esistono due set di convalida. Un set di convalida viene tratto dalle stesse fonti utilizzate per formare il set di dati di addestramento (nel dominio) e l'altro set di convalida viene tratto da fonti che non sono contenute nel set di formazione (fuori dal dominio). La tabella seguente riassume queste informazioni.

Il confronto utilizza un'architettura di base Ro BERTa (Liu et al. 2019) con pesi preaddestrati e una testa inizializzata casualmente con un singolo livello nascosto. Gli iperparametri sono per lo più suggeriti nel BERTa documento Ro con alcune piccole modifiche.