Uma abordagem teórica da informação para incerteza - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Uma abordagem teórica da informação para incerteza

A explicação da incerteza na seção anterior se baseia apenas na noção de incerteza de variância, mas também existem noções de incerteza na teoria da informação. A incorporação da incerteza aleatória teórica da informação melhora a robustez da estimativa de incerteza total (Gal 2016, Hein, Andriushchenko e Bitterwolf 2019, van Amersfoort et al. 2020). A incerteza total é medida pela entropia de Shannon:

Entropia de Shannon,

onde Ellipsis symbol represented by three dots in parentheses. é o operador do produto em pontos e Letter K icon representing a single alphabetic character or keyboard key. é o número de classes.

A entropia preditiva Mathematical formula H(p) representing an entropy function. está disponível para redes neurais bayesianas e não bayesianas. Para decompor essa incerteza total nos componentes epistêmicos e aleatórios, você deve estimar as informações mútuas Mathematical formula showing MI as a function of p and theta in parentheses. , e isso requer uma abordagem bayesiana.

Informações mútuas