Kesimpulan

Panduan ini memberikan gambaran konseptual tentang ketidakpastian dalam sistem pembelajaran mendalam. Ini menggambarkan eksperimen yang memperluas literatur yang ada untuk mencakup skenario pembelajaran transfer untuk pemrosesan bahasa alami (NLP) baik dalam distribusi maupun pengaturan. out-of-distribution Akhirnya, ini memberikan studi kasus yang berfungsi sebagai peta jalan untuk bagaimana ilmuwan data dapat menerapkan konsep-konsep ini dalam pekerjaan mereka di industri yang sangat diatur.

Saat mengukur ketidakpastian dalam jaringan pembelajaran mendalam, rekomendasi umum kami adalah menggunakan penskalaan suhu dengan ansambel yang dalam. Penskalaan suhu memberikan perkiraan ketidakpastian yang dapat ditafsirkan saat data yang masuk dalam distribusi. Oleh karena itu, penskalaan suhu mengatasi ketidakpastian total dengan menyesuaikan ketidakpastian softmax sehingga mereka tidak terlalu percaya diri. Penskalaan suhu harus dilakukan pada dataset validasi, setelah model dilatih pada dataset validasi.

Deep ansambel saat ini memberikan state-of-the-art perkiraan ketidakpastian ketika data tidak didistribusikan. Mereka memberikan perkiraan ketidakpastian epistemik yang lebih tinggi ketika disajikan dengan data yang berbeda dari data pelatihan. Hal ini disebabkan oleh kekuatan keragaman model yang mendasari yang terdiri dari ansambel dalam. Kami menyarankan bahwa lima model akan cukup dalam sebagian besar situasi.

Dalam dua skenario, kami menyarankan Anda mempertimbangkan putus sekolah MC sebagai alternatif untuk ansambel dalam: saat menghosting beberapa model menjadi perhatian karena beban tambahan ke infrastruktur, dan dalam pembelajaran transfer (yaitu, saat menggunakan bobot yang telah dilatih sebelumnya). Ketika persyaratan hosting untuk beberapa model menjadi perhatian, MC dropout adalah alternatif yang valid untuk ansambel dalam. Jika Anda menggunakan putus sekolah MC sebagai pengganti ansambel dalam, Anda harus siap mengorbankan beberapa latensi komputasi demi lebih banyak iterasi melalui data. Kami merekomendasikan 30-100 iterasi sebagai rentang yang sesuai. Dalam pembelajaran transfer, akan ada lebih sedikit diversifikasi di antara peserta didik dasar yang diansambel (yaitu, bobot model yang mendasarinya akan lebih mirip satu sama lain). Inilah sebabnya mengapa ketidakpastian prediktif total bisa rendah dalam pembelajaran transfer, terutama dalam pengaturan dengan out-of-distribution data. Akibatnya, dalam situasi pembelajaran transfer, pertimbangkan untuk melengkapi atau mengganti ansambel dalam dengan putus sekolah MC.