Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon Nova Melanjutkan Pra-Pelatihan (CPT)
Continued Pre-Training (CPT) adalah teknik yang memperluas kemampuan model bahasa pra-terlatih dengan melatihnya pada data spesifik domain baru sambil mempertahankan pemahaman bahasa umumnya. Tidak seperti fine-tuning, CPT menggunakan tujuan tanpa pengawasan yang sama seperti pra-pelatihan asli (seperti pemodelan bahasa bertopeng atau kausal) dan tidak memodifikasi arsitektur model.
CPT sangat berharga ketika Anda memiliki sejumlah besar data spesifik domain yang tidak berlabel (seperti teks medis atau keuangan) dan ingin meningkatkan kinerja model di area khusus tanpa kehilangan kemampuan umumnya. Pendekatan ini meningkatkan kinerja zero-shot dan few-shot di domain yang ditargetkan tanpa memerlukan fine-tuning khusus tugas yang ekstensif.
Untuk petunjuk terperinci tentang penggunaan CPT dengan kustomisasi model Amazon Nova, lihat bagian Pra-Pelatihan Lanjutan (CPT) dari panduan pengguna Amazon Nova.
