不確実性に対する情報理論的アプローチ

前のセクションでの不確実性の説明は、不確実性という分散概念のみに基づいていますが、情報理論上の不確実性の概念も存在します。情報理論上のランダムな不確実性を組み込むことで、全体の不確実性の推定値のロバスト性が向上します (Gal 2016、Hein、Andriushchenko、Bitterwolf 2019、van Amersfoort ら 2020)。全体の不確実性はシャノンのエントロピーによって測定されます。

はドット積演算子、 はクラスの数です。

予測エントロピー は、ベイジアンニューラルネットワークと非ベイジアンニューラルネットワークの両方で使用できます。この全体的な不確実性を認識論的要素と偶然的要素に分解するには、相互情報 を推定する必要があり、これにはベイズ的アプローチが必要です。