確定性過度自信

Gal 和 Ghahramani (2016) 警告不要將 softmax 機率解釋為可信度分數。經驗上顯示，透過 softmax 啟用函數傳遞點估計值會產生較大的機率，而透過 softmax 傳遞預估分佈會產生更合理、更低的可信度分數。這種決定性過度信任，有一部分是因為 會激勵學習預測分佈 ，而不是單一預測 。

正式而言，確定性過度可信性結論可以透過下列不等式來詳述：

運算子代表 Shannon 的熵，當輸入向量的元素更相似時，該熵會較大，因此對於統一向量而言是最大的。因此，先前的方程式指出，根據 Shannon 的熵 ，來自貝葉斯模型的預期 softmax 機率向量 （分佈的平均值） 的不確定性，將大於或等於來自決定性模型的 softmax 機率向量 （來自產生單一點預估的模型）。如需上一個方程式中不等式的證明和示範，請參閱附錄 A。

確定性過度信任會影響深度學習模型的可靠性和安全性。假設模型可自信地預測組裝線上的項目沒有瑕疵，但事實上，它會導致項目略過品質審查程序。然後，這個故障項目可能會嵌入到更大的產品中，從而損害其完整性。最終結果最好是，如果缺陷被捕捉到，則效率不佳，或者如果找不到缺陷，則更差的是產品的總故障。因此，了解和克服決定性過度信任問題對於我們專案的成功和深度學習的未來至關重要。

改善不確定性測量品質並克服過度信心的三種方式如下：

確定性過度可信度是同時適用於分佈內和out-of-distribution資料的理論。¹ 下一節說明如何將總可量化不確定性² 分割成其兩個組成部分：流行性 （模型） 不確定性和正式性 （資料） 不確定性 (Kendall 和 Gal 2017)。