Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Sesuaikan model dengan distilasi di Amazon Bedrock
Distilasi model adalah proses mentransfer pengetahuan dari model yang lebih besar yang lebih cerdas (dikenal sebagai guru) ke model yang lebih kecil, lebih cepat, hemat biaya (dikenal sebagai siswa). Dalam proses ini, kinerja model siswa meningkat untuk kasus penggunaan tertentu. Amazon Bedrock Model Distillation menggunakan teknik sintesis data terbaru untuk menghasilkan beragam respons berkualitas tinggi (dikenal sebagai data sintetis) dari model guru, dan menyempurnakan model siswa.
Untuk menggunakan Amazon Bedrock Model Distillation, Anda melakukan hal berikut:
-
Pilih model guru dan model siswa. Untuk informasi selengkapnya, lihat Pilih model guru dan siswa untuk distilasi.
-
Siapkan data pelatihan Anda untuk distilasi. Data pelatihan Anda adalah kumpulan petunjuk yang disimpan dalam
.jsonlfile. Amazon Bedrock menggunakan data input untuk menghasilkan respons dari model guru dan menggunakan respons untuk menyempurnakan model siswa.-
Anda dapat mengoptimalkan proses pembuatan data sintetis dengan memformat prompt input Anda untuk kasus penggunaan yang Anda inginkan. Untuk informasi selengkapnya, lihat Optimalkan permintaan input Anda untuk pembuatan data sintetis.
-
Anda dapat menyiapkan data input berlabel sebagai pasangan prompt respons. Amazon Bedrock dapat menggunakan pasangan ini sebagai contoh emas sambil menghasilkan respons dari model guru. Untuk informasi selengkapnya, lihat Opsi 1: Berikan petunjuk Anda sendiri untuk persiapan data.
-
Jika Anda mengaktifkan logging pemanggilan CloudWatch Log, Anda dapat menggunakan respons guru yang ada dari log pemanggilan yang disimpan di Amazon S3 sebagai data pelatihan. Log pemanggilan di Amazon Bedrock adalah catatan rinci tentang pemanggilan model. Untuk informasi selengkapnya, lihat Opsi 2: Gunakan log pemanggilan untuk persiapan data.
-
-
Buat pekerjaan Distilasi. Pekerjaan ini menciptakan model yang lebih kecil, lebih cepat, dan lebih hemat biaya untuk kasus penggunaan Anda. Hanya Anda yang dapat mengakses model suling akhir. Amazon Bedrock tidak menggunakan data Anda untuk melatih guru atau model siswa lain untuk penggunaan umum. Untuk informasi selengkapnya, lihat Kirim pekerjaan distilasi model di Amazon Bedrock. Ketika pekerjaan Distilasi Anda selesai, Anda dapat menganalisis hasil dari proses kustomisasi. Untuk mengetahui informasi selengkapnya, lihat Menganalisis hasil pekerjaan kustomisasi model. Untuk informasi tentang menyiapkan inferensi untuk model Anda, lihatSiapkan inferensi untuk model khusus.
Topik
Cara kerja Distilasi Model Batuan Dasar Amazon
Amazon Bedrock Model Distillation adalah alur kerja tunggal yang mengotomatiskan proses pembuatan model suling. Dalam alur kerja ini, Amazon Bedrock menghasilkan respons dari model guru, menambahkan teknik sintesis data untuk meningkatkan generasi respons, dan menyempurnakan model siswa dengan respons yang dihasilkan. Dataset yang ditambah dibagi menjadi kumpulan data terpisah untuk digunakan untuk pelatihan dan validasi. Amazon Bedrock hanya menggunakan data dalam kumpulan data pelatihan untuk menyempurnakan model siswa.
Setelah mengidentifikasi model guru dan siswa, Anda dapat memilih bagaimana Amazon Bedrock ingin membuat model suling untuk kasus penggunaan Anda. Amazon Bedrock dapat menghasilkan respons guru dengan menggunakan petunjuk yang Anda berikan, atau Anda dapat menggunakan respons dari data produksi melalui log pemanggilan. Amazon Bedrock Model Distillation menggunakan respons ini untuk menyempurnakan model siswa.
catatan
Jika Amazon Bedrock Model Distillation menggunakan teknik sintesis data miliknya untuk menghasilkan respons guru berkualitas lebih tinggi, maka Anda Akun AWS akan dikenakan biaya tambahan untuk panggilan inferensi ke model guru. Biaya ini akan ditagih pada tingkat inferensi sesuai permintaan model guru. Teknik sintesis data dapat meningkatkan ukuran kumpulan data fine-tuning hingga maksimum 15k pasangan respons-prompt. Untuk informasi selengkapnya tentang biaya Amazon Bedrock, lihat Harga Amazon Bedrock
Membuat model suling menggunakan prompt yang Anda berikan
Amazon Bedrock menggunakan petunjuk masukan yang Anda berikan untuk menghasilkan respons dari model guru. Amazon Bedrock kemudian menggunakan respons untuk menyempurnakan model siswa yang telah Anda identifikasi. Bergantung pada kasus penggunaan Anda, Amazon Bedrock mungkin menambahkan teknik sintesis data eksklusif untuk menghasilkan respons yang beragam dan berkualitas lebih tinggi. Misalnya, Amazon Bedrock mungkin menghasilkan permintaan serupa untuk menghasilkan respons yang lebih beragam dari model guru. Atau, jika Anda secara opsional memberikan beberapa data input berlabel sebagai pasangan respons cepat, maka Amazon Bedrock mungkin menggunakan pasangan ini sebagai contoh emas untuk menginstruksikan guru untuk menghasilkan respons berkualitas tinggi yang serupa.
Membuat model suling menggunakan data produksi
Jika Anda sudah memiliki tanggapan yang dihasilkan oleh model guru dan menyimpannya di log pemanggilan, Anda dapat menggunakan tanggapan guru yang ada untuk menyempurnakan model siswa. Untuk ini, Anda harus memberikan Amazon Bedrock akses ke log pemanggilan Anda. Log pemanggilan di Amazon Bedrock adalah catatan rinci tentang pemanggilan model. Untuk informasi selengkapnya, lihat Memantau pemanggilan model menggunakan CloudWatch Log.
Jika Anda memilih opsi ini, Anda dapat terus menggunakan operasi API inferensi Amazon Bedrocks, seperti InvokeModelatau Converse API, dan mengumpulkan log pemanggilan, data input model (prompt), dan data keluaran model (respons) untuk semua pemanggilan yang digunakan di Amazon Bedrock.
Saat Anda menghasilkan respons dari model menggunakan operasi InvokeModel atau Converse API, Anda dapat menambahkan requestMetadata respons secara opsional. Saat Anda membuat pekerjaan Distilasi, Anda dapat memfilter berdasarkan metadata ini sebagai bagian dari konfigurasi log pemanggilan. Anda dapat memfilter berdasarkan kasus penggunaan spesifik Anda, lalu Amazon Bedrock hanya menggunakan respons yang difilter untuk menyempurnakan model siswa Anda. Bila Anda memilih untuk menggunakan log pemanggilan untuk menyempurnakan model siswa Anda, Anda dapat meminta Amazon Bedrock hanya menggunakan petunjuknya, atau menggunakan pasangan prompt respons.
Memilih prompt dengan log pemanggilan
Jika Anda memilih agar Amazon Bedrock hanya menggunakan prompt dari log pemanggilan, maka Amazon Bedrock menggunakan prompt untuk menghasilkan respons dari model guru. Dalam hal ini, Amazon Bedrock menggunakan respons untuk menyempurnakan model siswa yang telah Anda identifikasi. Bergantung pada kasus penggunaan Anda, Amazon Bedrock Model Distillation dapat menambahkan teknik sintesis data eksklusif untuk menghasilkan respons yang beragam dan berkualitas lebih tinggi.
Memilih pasangan respons-prompt dengan log pemanggilan
Jika Anda memilih agar Amazon Bedrock menggunakan pasangan prompt respons dari log pemanggilan, Amazon Bedrock tidak akan menghasilkan kembali respons dari model guru dan menggunakan respons dari log pemanggilan untuk menyempurnakan model siswa. Agar Amazon Bedrock dapat membaca tanggapan dari log pemanggilan, model guru yang ditentukan dalam pekerjaan distilasi model Anda harus cocok dengan model yang digunakan dalam log pemanggilan. Jika tidak cocok, log pemanggilan tidak digunakan. Jika Anda telah menambahkan metadata permintaan ke respons di log pemanggilan, lalu untuk menyempurnakan model siswa, Anda dapat menentukan filter metadata permintaan sehingga Amazon Bedrock hanya membaca log tertentu yang valid untuk kasus penggunaan Anda.
