Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Un approccio teorico dell'informazione all'incertezza
La spiegazione dell'incertezza nella sezione precedente si basa solo sulla nozione di varianza di incertezza, ma esistono anche nozioni di incertezza basate sulla teoria dell'informazione. L'integrazione dell'incertezza aleatoria teorica dell'informazione migliora la robustezza della stima dell'incertezza totale (Gal 2016, Hein, Andriushchenko e Bitterwolf 2019, van Amersfoort et al. 2020). L'incertezza totale è misurata dall'entropia di Shannon:
dove
è l'operatore del prodotto dot ed
è il numero di classi.
L'entropia predittiva
è disponibile sia per le reti neurali bayesiane che per quelle non bayesiane. Per scomporre questa incertezza totale nelle componenti epistemiche e aleatorie, è necessario stimare le informazioni reciproche e ciò richiede un approccio bayesiano.
