本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
确定性过度自信
Gal和Ghrahramani（2016年）警告不要将softmax概率解释为置信度分数。他们根据经验表明，通过softmax激活函数传递点估值会产生较大的概率，而通过softmax传递估值分布会产生更合理、更低的置信度分数。这种确定性过度自信的部分原因是由于学习预测分布
的动机，而非单一预测
。
形式上，可以用以下不等式来详细说明确定性过度自信猜想：
运算符表示香农熵，当输入向量的元素更相似时，香农熵会更大，因此对于均匀向量而言，香农熵最大。因此，前面的方程指出，就香农熵
而言，贝叶斯模型
中预期的 softmax 概率向量（分布的平均值）的不确定性将大于或等于确定性模型
（来自产生单点估值的模型 ）的softmax概率向量。有关上个方程式中不等式的证明和演示，请参阅附录 A。
确定性过度自信会影响我们深度学习模型的可靠性和安全性。考虑这样一种情况：一个模型自信地预测装配线上的某件物品没有缺陷，而事实上却有缺陷，导致该物品跳过了质量审查流程。然后，这种有缺陷的物品可能会嵌入到更大的产品中，从而损害其完整性。如果发现缺陷，充其量最终结果就是效率低下，或者更糟糕的是，如果没有发现缺陷，则产品完全失效。因此，理解和克服确定性过度自信问题对于我们项目的成功以及深度学习的未来至关重要。
提高不确定性衡量质量和克服过度自信的三种方法是：
-
利用温度缩放对 softmax 概率进行事后校准（Guo 等人，2017 年）
-
通过 MC dropout 近似贝叶斯推断（即在推理期间保持 dropout）（Gal 和 Ghahramani，2016 年）
-
用深度融合近似贝叶斯推断（Lakshminarayanan、Pritzel 和 Blundell，2017 年）
确定性过度自信是一种对分布内和分布外数据均适用的理论。1 接下来的部分将说明如何将可量化的总不确定性 2 分为两个组成部分：认识论（模型）不确定性和随机（数据）不确定性（Kendall 和 Gal， 2017年）。
备注
1 特别是，最近研究发现，当数据远离决策边界时，尤其是当数据超出分布时，修正线性单元（ReLU）过度自信是导致过度自信的重要因素（Hein、Andriushchenko 和 Bitterwolf，2019年）。为防止 ReLU 过度自信，建议的一种方法是对随机不确定性的信息论概念进行建模（Gal 和 Ghahramani，2016 年、Hein、Andriushchenko 和 Bitterwolf 2019 年、van Amersfoort 等人，2020 年），本指南稍后将对此进行解释。
2 有些字段将总不确定性分解为可量化的不确定性和不可量化的不确定性。本指南中的讨论仅限于可量化的不确定性；因此，总不确定性和可量化总不确定性这两个术语可以互换使用。
