Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengevaluasi dan membandingkan model klasifikasi SageMaker JumpStart teks Amazon
SageMaker AI JumpStart menawarkan beberapa model klasifikasi teks yang mengkategorikan teks ke dalam kelas yang telah ditentukan. Model-model ini menangani tugas-tugas seperti analisis sentimen, klasifikasi topik, dan moderasi konten. Memilih model yang tepat untuk produksi memerlukan evaluasi yang cermat menggunakan metrik utama termasuk akurasi, skor F1, dan Koefisien Korelasi Matthews (MCC).
Dalam panduan ini, Anda:
Menyebarkan beberapa model klasifikasi teks (DistiLbert dan BERT) dari katalog. JumpStart
Jalankan evaluasi komprehensif di seluruh kumpulan data yang seimbang, miring, dan menantang.
Menafsirkan metrik lanjutan termasuk Matthews Correlation Coefficient (MCC) dan Skor Karakteristik Operasi Area Under the Curve Receiver.
Buat keputusan pemilihan model berbasis data menggunakan kerangka perbandingan sistematis.
Siapkan penerapan produksi dengan auto-scaling dan monitoring. CloudWatch
Unduh kerangka evaluasi lengkap: Paket Evaluasi JumpStart Model. Paket ini mencakup hasil pra-jalankan dengan output sampel sehingga Anda dapat melihat pratinjau proses evaluasi dan metrik sebelum menerapkan model sendiri.
Prasyarat
Sebelum Anda mulai, pastikan Anda memiliki yang berikut:
Pengetahuan dasar Python.
Memahami konsep klasifikasi teks.
Waktu dan biaya: total waktu 45 menit. Biaya bervariasi berdasarkan jenis instans dan durasi penggunaan - lihat Harga SageMaker AI
Tutorial ini mencakup instruksi step-by-step pembersihan untuk membantu Anda menghapus semua sumber daya dan menghindari biaya yang sedang berlangsung.
Topik
