付録C. その他の考慮事項と注目すべき方法

このガイドでは、不確実性の信頼できる測定値を確認するための最も実用的で効果的な方法について説明します。また、分布外変性や決定論的過信といった主要な病理も取り上げています。その他の最近の技術としては、決定論的不確実性定量化 (DUQ) (van Amersfoort et al 2020) や予測時間バッチ正規化 (Nado et al 2020) があります。

DUQs は、伝統的なソフトマックス関数を利用しない、新しい種類の深層学習分類器です。その代わり、DUQ は分布外のデータに対して信頼できる不確実性を提供します。DUQs は、ベクトル f(x) を出力します。このベクトルは、クラス固有の重み行列 W _c によって変換され、特徴ベクトルにマッピングされます。この特徴ベクトルと学習されたセントロイド (各クラスに 1 つのセントロイド) の間の距離は、対応する不確実性を表します。最も近い重心までの距離が予測不確実性と見なされます。特徴ベクトルは、モデルの滑らかさを正則化することで、重心から遠く離れた分布のデータをマッピングできます。新しい正則化法は、出力の変化が入力の変化と一致するように滑らかさを調整するもので、汎化を損なうほどの変化はありません。DUQsは、不確実性をモデル化するための有望な新しい方法であり、分布外の設定において信頼できる不確実性のためのディープアンサンブルに代わるものを提供します。詳細については、「参考文献」セクションの出版物を参照してください。

もう 1 つの注目すべき方法は、分布外ロバスト性のための予測時間バッチ正規化です (Nado et al 2020)。この手法はわずか数行のコードで実装でき、ディープアンサンブルを補完する方法で、分布外のデータに対する不確実性の信頼性が向上すると主張しています。この手法の興味深い注意点は、不確実性の質が事前学習設定によって実際に低下することであり、これは今後の課題です。