Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Output pelatihan pengklasifikasi

Setelah Amazon Compree menyelesaikan pelatihan model pengklasifikasi khusus, ia akan membuat file keluaran di lokasi keluaran Amazon S3 yang Anda tentukan dalam permintaan CreateDocumentClassifier API atau permintaan konsol yang setara.

Amazon Comprecept menciptakan matriks kebingungan saat Anda melatih model teks biasa atau model dokumen asli. Ini dapat membuat file output tambahan saat Anda melatih model dokumen asli.

Matriks kebingungan

Saat Anda melatih model pengklasifikasi khusus, Amazon Comprecept membuat matriks kebingungan yang menyediakan metrik tentang seberapa baik kinerja model dalam pelatihan. Matriks ini menunjukkan matriks label yang diprediksi model, dibandingkan dengan label dokumen yang sebenarnya. Amazon Compredeh menggunakan sebagian data pelatihan untuk membuat matriks kebingungan.

Matriks kebingungan memberikan indikasi kelas mana yang dapat menggunakan lebih banyak data untuk meningkatkan kinerja model. Kelas dengan fraksi prediksi yang benar yang tinggi memiliki jumlah hasil tertinggi di sepanjang diagonal matriks. Jika angka pada diagonal adalah angka yang lebih rendah, kelas memiliki fraksi prediksi yang benar yang lebih rendah. Anda dapat menambahkan lebih banyak contoh pelatihan untuk kelas ini dan melatih model lagi. Misalnya, jika 40 persen sampel label A diklasifikasikan sebagai label D, menambahkan lebih banyak sampel untuk label A dan label D meningkatkan kinerja pengklasifikasi.

Setelah Amazon Comprecept membuat model pengklasifikasi, matriks kebingungan tersedia di confusion_matrix.json file di lokasi keluaran S3.

Format matriks kebingungan bervariasi, tergantung pada apakah Anda melatih pengklasifikasi menggunakan mode multi-kelas atau mode multi-label.

Matriks kebingungan untuk mode multi-kelas

Dalam mode multi-kelas, kelas individu saling eksklusif, sehingga klasifikasi menetapkan satu label untuk setiap dokumen. Misalnya, seekor hewan bisa menjadi kucing atau kucing, tetapi tidak keduanya pada saat yang bersamaan.

Pertimbangkan contoh matriks kebingungan berikut untuk pengklasifikasi terlatih multi-kelas:

  A B X Y <-(predicted label)
A 1 2 0 4
B 0 3 0 1
X 0 0 1 0
Y 1 1 1 1
^
|
(actual label)  

Dalam hal ini, model memprediksi yang berikut:

Garis diagonal dalam matriks (A:A, B:B, X:X, dan Y:Y) menunjukkan prediksi yang akurat. Kesalahan prediksi adalah nilai di luar diagonal. Dalam hal ini, matriks menunjukkan tingkat kesalahan prediksi berikut:

Pengklasifikasi mengembalikan matriks kebingungan sebagai file dalam format JSON. File JSON berikut mewakili matriks untuk contoh sebelumnya.

{
 "type": "multi_class",
 "confusion_matrix": [
 [1, 2, 0,4],
 [0, 3, 0, 1],
 [0, 0, 1, 0],
 [1, 1, 1, 1]],
 "labels": ["A", "B", "X", "Y"],
 "all_labels": ["A", "B", "X", "Y"]
}   

Matriks kebingungan untuk mode multi-label

Dalam mode multi-label, klasifikasi dapat menetapkan satu atau lebih kelas ke dokumen. Pertimbangkan contoh matriks kebingungan berikut untuk pengklasifikasi terlatih multi-kelas.

Dalam contoh ini, ada tiga kemungkinan label:Comedy,Action, danDrama. Matriks kebingungan multi-label membuat satu matriks 2x2 untuk setiap label.

Comedy                   Action                   Drama 
     No Yes                   No Yes                   No Yes   <-(predicted label)                                      
 No  2   1                No  1   1                No  3   0                                                         
Yes  0   2               Yes  2   1               Yes  1   1   
 ^                        ^                        ^
 |                        |                        |
 |-----------(was this label actually used)--------|
    

Dalam hal ini, model mengembalikan yang berikut untuk Comedy label:

Seperti matriks kebingungan multi-kelas, garis diagonal di setiap matriks menunjukkan prediksi yang akurat.

Dalam hal ini, model secara akurat memprediksi Comedy label 80% dari waktu (TP plus TN) dan salah memprediksinya 20% dari waktu (FP plus FN).

Pengklasifikasi mengembalikan matriks kebingungan sebagai file dalam format JSON. File JSON berikut mewakili matriks untuk contoh sebelumnya.

{
"type": "multi_label",
"confusion_matrix": [
 [[2, 1],        
 [0, 2]],
 [[1, 1],        
 [2, 1]],      
 [[3, 0],        
 [1, 1]]
], 
"labels": ["Comedy", "Action", "Drama"]
"all_labels": ["Comedy", "Action", "Drama"]
}   

Output tambahan untuk model dokumen asli

Amazon Comprecept dapat membuat file keluaran tambahan saat Anda melatih model dokumen asli.

Keluaran Amazon Textract

Jika Amazon Compree memanggil API Amazon Textract untuk mengekstrak teks untuk salah satu dokumen pelatihan, file output Amazon Textract akan disimpan di lokasi keluaran S3. Ini menggunakan struktur direktori berikut:

Amazon Comprecept mengisi folder pengujian jika Anda memberikan dokumen pengujian dalam permintaan API.

Kegagalan anotasi dokumen

Amazon Comprecept membuat file berikut di lokasi keluaran Amazon S3 (di folder skipped_documents/) jika ada anotasi yang gagal:

File anotasi yang gagal adalah file JSONL dengan format berikut:

{
     "File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."}
    {"File": "String", "Page": Number, "ErrorCode": "...", "ErrorMessage": "..."
  }