Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pra-pelatihan lanjutan (CPT)
Pre-training lanjutan (CPT) adalah teknik pelatihan yang memperluas fase pra-pelatihan model yayasan dengan mengeksposnya ke teks tambahan yang tidak berlabel dari domain atau korpora tertentu. Tidak seperti fine-tuning yang diawasi, yang membutuhkan pasangan input-output berlabel, CPT melatih dokumen mentah untuk membantu model memperoleh pengetahuan yang lebih dalam tentang domain baru, mempelajari terminologi dan pola penulisan khusus domain, dan beradaptasi dengan jenis konten atau area subjek tertentu.
Pendekatan ini sangat berharga ketika Anda memiliki volume besar (puluhan miliar token) data teks khusus domain, seperti dokumen hukum, literatur medis, dokumentasi teknis, atau konten bisnis berpemilik, dan Anda ingin model tersebut mengembangkan kefasihan asli dalam domain itu. Umumnya, setelah tahap CPT, model perlu menjalani tahap penyetelan instruksi tambahan untuk memungkinkan model menggunakan pengetahuan yang baru diperoleh dan menyelesaikan tugas yang berguna.
Model yang didukung
CPT tersedia untuk model Amazon Nova berikut:
-
Nova 1.0 (Mikro, Lite, Pro)
-
Nova 2.0 (Ringan)
Kapan menggunakan Nova 1.0 versus Nova 2.0
Rangkaian model Amazon Nova menawarkan beberapa titik operasi kinerja harga untuk mengoptimalkan antara akurasi, kecepatan, dan biaya.
Pilih Nova 2.0 saat Anda membutuhkan yang berikut ini:
-
Kemampuan penalaran tingkat lanjut untuk tugas analitis yang kompleks
-
Kinerja unggul dalam pengkodean, matematika, dan pemecahan masalah ilmiah
-
Dukungan panjang konteks yang lebih panjang
-
Performa multibahasa yang lebih baik
Pilih Nova 1.0 jika hal berikut berlaku:
-
Kasus penggunaan Anda memerlukan pemahaman bahasa standar tanpa alasan lanjutan.
-
Anda ingin mengoptimalkan biaya pelatihan dan inferensi yang lebih rendah.
-
Fokus Anda adalah mengajarkan pengetahuan dan perilaku spesifik domain model daripada tugas penalaran yang kompleks.
-
Anda telah memvalidasi kinerja di Nova 1.0 dan tidak memerlukan kemampuan tambahan.
catatan
Model yang lebih besar tidak selalu lebih baik. Pertimbangkan tradeoff kinerja biaya dan persyaratan bisnis spesifik Anda saat memilih antara model Nova 1.0 dan Nova 2.0.
