不確定的資訊理論方法

上一節中不確定性的說明僅依賴不確定性的差異概念，但也存在不確定性的資訊理論概念。結合資訊理論等冪不確定性可改善總不確定性預估值的穩健性 (Gal 2016、Hein、Andriushchenko 和 Bitterwolf 2019、van Amersfoort 等。 2020)。Shannon 的熵測量總不確定性：

其中 是點產品運算子，而 是類別的數量。

預測 熵可供貝葉斯和非貝葉斯神經網路使用。為了將此總不確定性分解為流行和過時元件，您必須估計相互資訊 ，這需要貝葉斯文方法。