附錄 C. 其他考量事項和值得注意的方法 - AWS 方案指引

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

附錄 C. 其他考量事項和值得注意的方法

本指南說明確定可靠不確定度測量最實際且最有效的方法。它還解決一些主要的路徑,例如out-of-distribution和確定性過度信任。其他近期技術包括確定性不確定性量化 (DUQ) (van Amersfoort et al. 2020) 和預測時間批次標準化 (Nado et al. 2020)。

DUQs新的深度學習分類器,不使用傳統的 softmax 函數。反之,DUQs 為out-of-distribution資料提供可靠的不確定性。DUQs輸出向量 f(x),由類別特定權重矩陣 W 轉換c,以映射到特徵向量。此功能向量與學習的 centroid (每個類別一個 centroid) 之間的距離代表對應的不確定性。最接近中心點的距離視為預測不確定性。特徵向量能夠透過標準化模型的平滑度,來映射遠離out-of-distribution資料的中心點。新的正規化方法會調整平滑度,讓輸出的變更與輸入中的變更一致,而不會變更太多,進而影響一般化。DUQs有前景的新方法,可建立不確定性模型,並提供深度整合的替代方案,以便在out-of-distribution設定中實現可靠的不確定性。如需詳細資訊,請參閱 參考 區段中的出版物。

另一個值得注意的方法是out-of-distribution穩健性進行預測時間批次標準化 (Nado et al. 2020)。此技術只需要幾行程式碼即可實作和宣告,以與深度組合互補的方式,改善out-of-distribution資料的不確定性可靠性。此方法的一個有趣的注意事項是,不確定性品質實際上會退化,以用於預先訓練設定,這會對未來的工作產生問題。