量化深度學習系統中的不確定性 - AWS 方案指引
簡介

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

量化深度學習系統中的不確定性

Josiah Davis、Jason Zhu 和 Jeremy Oldfather，Amazon Web Services (AWS)

Samual MacDonald 和 Maciej Trzaskowski，Max Kelsen

2020 年 8 月 (文件歷史記錄)

將機器學習 (ML) 解決方案交付到生產環境並不容易。要知道從何處開始、要使用哪些工具和技巧，以及這樣做是否正確並不容易。ML 專業人員會根據其個人經驗使用不同的技術，或使用在其公司內開發的指定工具。在任何一種情況下，決定要做什麼、實作解決方案和維護解決方案都需要大量投資時間和資源。雖然現有的 ML 技術有助於加速部分程序，但整合這些技術以提供強大的解決方案需要數月的工作量。本指南是內容系列的第一部分，著重於機器學習，並提供如何快速入門的範例。系列的目的是協助您標準化 ML 方法、做出設計決策，以及有效率地交付 ML 解決方案。我們將在未來幾個月內發佈其他 ML 指南，因此請查看AWS 規範性指南網站以取得更新。

本指南探索目前用於量化和管理深度學習系統中不確定性的技術，以改善 ML 解決方案中的預測建模。此內容適用於資料科學家、資料工程師、軟體工程師和資料科學領導者，他們希望有效率地大規模提供高品質的生產就緒 ML 解決方案。無論資料科學家的雲端環境或他們正在使用或打算使用的 Amazon Web Services (AWS) 服務為何，這些資訊都與資料科學家相關。

本指南假設熟悉概率和深度學習中的簡介概念。如需在組織中建置機器學習能力的建議，請參閱 Coursera 網站上的深度學習專業，或 AWS Training and Certification 網站上的 Machine Learning： Data Scientist 頁面上的資源。

簡介

如果資料科學的成功是由模型的預測效能所定義，深度學習當然是非常有力的效能。對於從非常大型的資料集使用非線性、高維度模式的解決方案來說尤其如此。不過，如果成功也取決於在不確定的情況下推理和偵測生產失敗的能力，則深度學習的效能會變得可疑。如何最好地量化不確定性？ 如何使用這些不確定性來管理風險？ 挑戰產品的可靠性和安全性的不確定性路徑是什麼？ 如何克服這類挑戰？

本指南：

  • 介紹在深度學習系統中量化不確定性的動機

  • 說明與深度學習相關機率的重要概念

  • 示範目前state-of-the-art技術，強調其相關優點和限制

  • 在自然語言處理 (NLP) 的轉移學習設定中探索這些技術

  • 提供受類似設定中執行之專案啟發的案例研究

如本指南所述，在量化深度學習中的不確定性時，良好的經驗法則是使用具有深度組合的溫度擴展。

  • 溫度擴展是解譯可在分佈中考慮資料的不確定性預估的理想工具 (Guo et al. 2017)。

  • 深度集合提供資料停止分發時的不確定性state-of-the-art預估 (Ovadia et al. 2019)。

如果託管模型的記憶體使用量有問題，您可以使用 Monte Carlo (MC) 退出來取代深度整合。如果是遷移學習，請考慮使用 MC 退出或 MC 退出的深度整合。