Lampiran C. Pertimbangan lain dan metode penting

Panduan ini membahas cara yang paling praktis dan efektif untuk memastikan ukuran ketidakpastian yang dapat diandalkan. Ini juga membahas beberapa patologi utama seperti out-of-distribution degenerasi dan terlalu percaya diri deterministik. Teknik terbaru lainnya termasuk kuantifikasi ketidakpastian deterministik (DUQ) (van Amersfoort et al. 2020) dan normalisasi batch waktu prediksi (Nado et al. 2020).

DUQs adalah jenis baru dari pengklasifikasi pembelajaran mendalam yang tidak menggunakan fungsi softmax tradisional. Sebaliknya, DUQs berikan ketidakpastian yang dapat diandalkan untuk out-of-distribution data. DUQs keluaran vektor, f (x), yang diubah oleh matriks berat kelas spesifik, W_c, untuk pemetaan ke vektor fitur. Jarak antara vektor fitur ini dan centroid yang dipelajari (satu centroid untuk setiap kelas) mewakili ketidakpastian yang sesuai. Jarak ke centroid terdekat dianggap sebagai ketidakpastian prediktif. Vektor fitur dapat memetakan jauh dari centroid untuk out-of-distribution data dengan mengatur kelancaran model. Metode regularisasi baru menyetel kelancaran sehingga perubahan output bertepatan dengan perubahan input, tanpa banyak berubah sehingga mengganggu generalisasi. DUQs adalah cara baru yang menjanjikan untuk memodelkan ketidakpastian dan memberikan alternatif untuk ansambel mendalam untuk ketidakpastian yang andal dalam out-of-distribution pengaturan. Untuk detailnya, lihat publikasi di bagian Referensi.

Metode lain yang perlu diperhatikan adalah normalisasi batch prediksi waktu untuk out-of-distribution ketahanan (Nado et al. 2020). Teknik ini hanya membutuhkan beberapa baris kode untuk diterapkan dan mengklaim untuk meningkatkan keandalan ketidakpastian dengan out-of-distribution data dengan cara yang melengkapi ansambel yang dalam. Peringatan yang menarik untuk metode ini adalah bahwa kualitas ketidakpastian sebenarnya merosot untuk pengaturan pra-pelatihan, yang menimbulkan pertanyaan untuk pekerjaan masa depan.