本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
附录 C. 其他注意事项和值得注意的方法
本指南探讨了确定可靠的不确定性衡量标准的最实用、最有效的方法。它还解决了一些主要的病症,例如分布外退化和确定性过度自信。其他最新技术包括确定性不确定性量化(DUQ)(van Amersfoort 等人,2020 年)和预测时间批量归一化(Nado 等人,2020 年)。
DUQ 是一种新型的深度学习分类器,它不使用传统的 softmax 函数。相反,DUQ 为分布外的数据提供了可靠的不确定性。DUQ 输出一个向量 f(x),该向量由特定于类的权重矩阵 Wc 进行变换,用于映射到特征向量。该特征向量与学习的质心(每个类别一个质心)之间的距离表示相应的不确定性。与最近质心的距离被视为预测不确定性。通过正则化模型的平滑度,特征向量能够绘制远离质心的分布失调数据。这种新颖的正则化方法可以调整平滑度,使输出的变化与输入的变化一致,而不会发生太大的变化以至于影响泛化。DUQ 是对不确定性进行建模的一种很有前景的新方法,它为分布外环境中的可靠不确定性提供了深度融合的替代方案。有关详细信息,请参阅参考部分中的出版物。
另一种值得注意的方法是预测时间批量归一化以提高分布外稳健性(Nado 等人,2020 年)。这种技术只需要几行代码即可实现,并声称可以以一种与深度融合相辅相成的方式提高分布外数据的不确定性可靠性。这种方法的一个有趣警告是,在预训练环境中,不确定性的质量实际上会恶化,这给未来的工作带来了问题。