一种解决不确定性的信息论方法

上一部分中对不确定性的解释仅依赖于不确定性的方差概念，但信息论中也存在不确定性的概念。纳入信息论随机不确定性可以提高总不确定性估计值的稳健性（Gal，2016 年、Hein、Andriushchenko 和 Bitterwolf 2019 年，van Amersfoort 等人，2020 年）。总不确定性由香农熵来衡量：

其中 是点积运算符， 是类数。

预测熵 可用于贝叶斯神经网络和非贝叶斯神经网络。为将这种总不确定性分解为认知和随机成分，您必须估计互信息 ，而这需要贝叶斯方法。