Mengevaluasi dan membandingkan kinerja model - Amazon SageMaker AI
Menggunakan kumpulan data bawaanMenggunakan data kustomSiapkan lingkungan evaluasi Anda

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengevaluasi dan membandingkan kinerja model

Evaluasi model klasifikasi teks yang Anda gunakan menggunakan kerangka evaluasi. Kerangka kerja ini mendukung mode evaluasi yang diawasi dan tidak diawasi melalui pendekatan berbasis notebook.

Menggunakan kumpulan data bawaan

Sebaiknya gunakan kumpulan data evaluasi terawasi bawaan untuk tutorial ini, karena sebagian besar pengguna tidak memiliki data evaluasi berlabel yang tersedia. Kumpulan data bawaan memberikan analisis kinerja yang komprehensif di berbagai skenario:

  • Kumpulan data seimbang: Distribusi kelas yang sama untuk kinerja dasar.

  • Kumpulan data miring: Kelas tidak seimbang untuk pengujian dunia nyata.

  • Kumpulan data yang menantang: Kasing tepi ke ketahanan model uji stres.

Evaluasi menghasilkan metrik utama termasuk akurasi, presisi, ingatan, skor F1, Koefisien Korelasi Matthews (MCC), dan Skor Karakteristik Operasi Penerima Area Di Bawah Kurva dengan kurva visual untuk perbandingan model.

Menggunakan data kustom

Jika Anda memiliki kumpulan data berlabel sendiri, Anda dapat menggantinya di buku catatan. Kerangka kerja secara otomatis menyesuaikan dengan format data Anda dan menghasilkan metrik komprehensif yang sama.

Format data yang didukung:

  • Format CSV: Dua kolom: text dan label

  • Format label: “positif” /"negatif”, “LABEL_0"/"LABEL_1", “Benar” /"Salah”, atau “0"/"1"

  • Tanpa pengawasan: text Kolom tunggal untuk analisis kepercayaan

Siapkan lingkungan evaluasi Anda

Buat JupyterLab spasi di SageMaker Amazon SageMaker Studio untuk menjalankan notebook evaluasi.

  1. Di Studio, pilih JupyterLabdari layar beranda.

  2. Jika Anda tidak memiliki ruang:

    1. Pilih Buat ruang.

    2. Masukkan nama deskriptif (misalnya,TextModelEvaluation).

    3. Pertahankan jenis instance default.

    4. Pilih Jalankan ruang.

    5. Ketika ruang telah dibuat, pilih Buka JupyterLab.

Akses buku catatan evaluasi

Unduh file zip dan ekstrak ke mesin lokal Anda. Unggah seluruh folder yang diekstraksi ke JupyterLab ruang Anda untuk mulai menguji model Anda. Paket ini berisi buku catatan evaluasi utama, kumpulan data sampel, modul Python pendukung, dan instruksi terperinci untuk kerangka evaluasi lengkap.

catatan

Setelah mengekstrak paket, tinjau file README untuk instruksi pengaturan terperinci dan ikhtisar kerangka kerja.

Terus Tafsirkan hasil Anda belajar bagaimana menganalisis output evaluasi dan membuat keputusan pemilihan model berbasis data.