Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Prasyarat untuk distilasi model
Sebelum memulai, pastikan Anda memahami kontrol akses dan keamanan untuk Distilasi Model. Anda juga harus memilih model guru dan siswa untuk pekerjaan distilasi Anda.
Izin
Sebelum memulai, pastikan Anda memahami kontrol akses dan keamanan untuk Distilasi Model. Anda harus memiliki peran layanan IAM yang dapat mengakses bucket Amazon S3 tempat Anda ingin menyimpan data pelatihan dan validasi Penyulingan Model. Amazon Bedrock juga memiliki opsi untuk mengenkripsi dan selanjutnya mengamankan pekerjaan dan artefak distilasi Anda. Untuk informasi selengkapnya, lihat Akses dan keamanan kustomisasi model.
Untuk menggunakan profil inferensi lintas wilayah untuk model guru dalam pekerjaan Distilasi, peran layanan Anda harus memiliki izin untuk memanggil profil inferensi di Wilayah AWS, selain model di setiap Wilayah di profil inferensi. Untuk contoh kebijakan, lihat(Opsional) Izin untuk membuat pekerjaan Distilasi dengan profil inferensi lintas wilayah. Untuk informasi lebih lanjut tentang inferensi lintas wilayah, lihat. Tingkatkan throughput dengan inferensi lintas wilayah
Pilih model guru dan siswa untuk distilasi
| Tipe Model | Kriteria Seleksi | Pertimbangan Utama | Persyaratan |
|---|---|---|---|
| Model Guru | Pilih model guru yang secara signifikan lebih besar dan lebih mampu daripada model siswa, dan akurasi yang ingin Anda capai untuk kasus penggunaan Anda. | Untuk membuat distilasi lebih efektif, pilih model yang sudah dilatih pada tugas-tugas yang mirip dengan kasus penggunaan Anda. Untuk beberapa model guru, Anda dapat memilih profil inferensi Lintas Wilayah. | Harus memiliki izin untuk memanggil profil dan model inferensi di setiap Wilayah. Lihat dokumentasi inferensi lintas wilayah untuk contoh kebijakan. |
| Model Mahasiswa | Pilih model siswa yang ukurannya jauh lebih kecil daripada model guru. | Model siswa harus menjadi salah satu model siswa yang dipasangkan dengan model guru Anda di tabel model yang didukung. | Harus kompatibel dengan model guru yang dipilih seperti yang ditunjukkan pada tabel berikut. |
Bagian berikut mencantumkan model dan wilayah yang didukung untuk Amazon Bedrock Model Distillation. Setelah Anda memilih model guru dan siswa Anda, Anda mempersiapkan dan mengoptimalkan kumpulan data pelatihan Anda untuk distilasi. Untuk informasi selengkapnya, lihat Siapkan kumpulan data pelatihan Anda untuk distilasi.
Model dan Wilayah yang didukung untuk Distilasi Model Batuan Dasar Amazon
Tabel berikut menunjukkan model dan Wilayah AWS Amazon Bedrock Model Distillation yang mendukung model guru dan siswa. Jika Anda menggunakan Profil Inferensi Lintas Wilayah, hanya Profil Inferensi Sistem yang didukung untuk distilasi model. Untuk informasi selengkapnya, lihat Tingkatkan throughput dengan inferensi lintas wilayah.
| Penyedia | Guru | ID Guru | Dukungan profil inferensi | Mahasiswa | ID Mahasiswa | Region |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | Amazon. nova-pro-v1:0 | Keduanya | Nova Lite Nova Mikro |
Amazon. nova-lite-v1:0:300 k Amazon. nova-micro-v1:0:128 k |
AS Timur (Virginia Utara) |
| Nova Premier | Amazon. nova-premier-v1:0 | Profil inferensi saja | Nova Lite Nova Mikro Nova Pro |
Amazon. nova-lite-v1:0:300 k Amazon. nova-micro-v1:0:128 k Amazon. nova-pro-v1:0:300 k |
AS Timur (Virginia Utara) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v 1:0 | Keduanya | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v 1:0:200 k |
AS Barat (Oregon) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0 | Keduanya | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v 1:0:200 k |
AS Barat (Oregon) | |
| Meta | Llama 3.1 405B | b-instruct-vmeta.llama3-1-405 1:0 | Sesuai permintaan | Llama 3.1 8B Llama 3.1 70B Llama 3.2 1B Llama 3.3 70B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-1-70 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-3-70 1:0:128 k |
AS Barat (Oregon) |
| Llama 3.1 70B | b-instruct-vmeta.llama3-1-70 1:0 | Keduanya | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
AS Barat (Oregon) | |
| Llama 3.3 70B | b-instruct-vmeta.llama3-3-70 1:0 | Profil inferensi saja | Llama 3.1 8B Llama 3.2 1B Llama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
AS Barat (Oregon) |
catatan
-
Untuk Claude dan Llama model, pekerjaan distilasi dijalankan di US West (Oregon). Anda dapat membeli throughput yang disediakan di AS Barat (Oregon) atau menyalin model suling ke Wilayah lain dan kemudian membeli throughput yang disediakan.
-
Untuk Nova model, Anda menjalankan pekerjaan distilasi di US East (Virginia N.). Untuk kesimpulan, Anda perlu membeli throughput yang disediakan di US East (Virginia N.). Anda tidak dapat menyalin Nova model ke Wilayah lain.
