Apêndice C. Outras considerações e métodos notáveis

Este guia aborda as formas mais práticas e eficazes de determinar medidas confiáveis de incerteza. Também aborda algumas das principais patologias, como degeneração fora de distribuição e excesso de confiança determinística. Outras técnicas recentes incluem quantificação de incerteza determinística (DUQ) (van Amersfoort et al. 2020) e normalização de lote com tempo de previsão (Nado et al. 2020).

Os DUQs são um novo tipo de classificador de aprendizado profundo que não utiliza a função softmax tradicional. Em vez disso, os DUQs fornecem incerteza confiável para dados fora de distribuição. Os DUQs geram um vetor, f(x), que é transformado por uma matriz de peso específica da classe, W_c, para mapeamento em um vetor de atributos. A distância entre esse vetor de atributos e os centroides aprendidos (um centroide para cada classe) representa as incertezas correspondentes. A distância até o centroide mais próximo é considerada incerteza preditiva. Os vetores de atributos são capazes de mapear dados fora dos centroides para dados fora de distribuição, regularizando a suavidade do modelo. O novo método de regularização ajusta a suavidade para que as mudanças na saída coincidam com as mudanças na entrada, sem tantas alterações que comprometa a generalização. Os DUQs são uma nova forma promissora de modelar incertezas e oferecem uma alternativa aos deep ensembles para incertezas confiáveis em ambientes fora de distribuição. Consulte a seção Referências para obter detalhes.

Outro método digno de nota é a normalização em lote com tempo de previsão para robustez fora de distribuição (Nado et al. 2020). Essa técnica requer apenas algumas linhas de código para ser implementada e afirma melhorar a confiabilidade da incerteza com dados fora de distribuição de uma forma complementar aos deep ensembles. Uma ressalva interessante desse método é que a qualidade da incerteza realmente degenera em ambientes de pré-treinamento, o que levanta questões para trabalhos futuros.