Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Hyperparameter model kustom
Konten referensi berikut mencakup hiperparameter yang tersedia untuk melatih setiap model kustom Amazon Bedrock.
Hyperparameter adalah parameter yang mengontrol proses pelatihan, seperti tingkat pembelajaran atau hitungan zaman. Anda menetapkan hyperparameters untuk pelatihan model kustom saat mengirimkan tugas fine tuning dengan konsol Amazon Bedrock atau dengan memanggil operasi API. CreateModelCustomizationJob
Amazon Nova ProModelAmazon Nova Lite,Amazon Nova Micro, dan mendukung tiga hyperparameter berikut untuk kustomisasi model. Untuk informasi selengkapnya, lihat Sesuaikan model Anda untuk meningkatkan kinerjanya untuk kasus penggunaan Anda.
Untuk informasi tentang fine tuning model Amazon Nova, lihat Model Amazon Novafine-tuning.
Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Tipe | Minimum | Maksimum | Default |
|---|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | integer | 1 | 5 | 2 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | float | 1.00E-6 | 1.00E-4 | 1,00E-5 |
| Langkah-langkah pemanasan tingkat pembelajaran | learningRateWarmupLangkah-langkahnya | Jumlah iterasi di mana tingkat pembelajaran secara bertahap ditingkatkan ke tingkat yang ditentukan | integer | 0 | 100 | 10 |
Nomor epoch default adalah 2, yang berfungsi untuk sebagian besar kasus. Secara umum, kumpulan data yang lebih besar membutuhkan lebih sedikit zaman untuk bertemu, sementara kumpulan data yang lebih kecil membutuhkan lebih banyak zaman untuk bertemu. Konvergensi yang lebih cepat juga dapat dicapai dengan meningkatkan tingkat pembelajaran, tetapi ini kurang diinginkan karena dapat menyebabkan ketidakstabilan pelatihan pada konvergensi. Kami merekomendasikan memulai dengan hyperparameter default, yang didasarkan pada penilaian kami di seluruh tugas dengan kompleksitas dan ukuran data yang berbeda.
Tingkat pembelajaran secara bertahap akan meningkat ke nilai yang ditetapkan selama pemanasan. Oleh karena itu, kami menyarankan Anda menghindari nilai pemanasan yang besar ketika sampel pelatihan kecil karena tingkat pembelajaran mungkin tidak akan pernah mencapai nilai yang ditetapkan selama proses pelatihan. Kami merekomendasikan untuk mengatur langkah pemanasan dengan membagi ukuran kumpulan data dengan 640 untukAmazon Nova Micro, 160 untuk, dan 320 untukAmazon Nova Lite. Amazon Nova Pro
Amazon Nova CanvasModel ini mendukung hyperparameters berikut untuk kustomisasi model.
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Minimum | Maksimum | Default |
|---|---|---|---|---|---|
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | 8 | 192 | 8 |
| Langkah-langkah | StepCount | Berapa kali model diekspos ke setiap batch | 10 | 20.000 | 500 |
| Tingkat pembelajaran | LearningRate | Nilai parameter model mana yang diperbarui setelah setiap batch | 1.00E-7 | 1.00E-4 | 1,00E-5 |
Amazon Titan Text Premier model mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Tipe | Minimum | Maksimum | Default |
|---|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | integer | 1 | 5 | 2 |
| Ukuran Batch (mikro) | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | integer | 1 | 1 | 1 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | float | 1.00E-07 | 1.00E-05 | 1.00E-06 |
| Langkah-langkah pemanasan tingkat pembelajaran | learningRateWarmupLangkah-langkahnya | Jumlah iterasi di mana tingkat pembelajaran secara bertahap ditingkatkan ke tingkat yang ditentukan | integer | 0 | 20 | 5 |
Model Amazon Titan Text, seperti Lite dan Express, mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Tipe | Minimum | Maksimum | Default |
|---|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | integer | 1 | 10 | 5 |
| Ukuran Batch (mikro) | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | integer | 1 | 64 | 1 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | float | 0.0 | 1 | 1,00E-5 |
| Langkah-langkah pemanasan tingkat pembelajaran | learningRateWarmupLangkah-langkahnya | Jumlah iterasi di mana tingkat pembelajaran secara bertahap ditingkatkan ke tingkat yang ditentukan | integer | 0 | 250 | 5 |
Model Amazon Titan Image Generator G1 mendukung hyperparameter berikut untuk kustomisasi model.
catatan
stepCounttidak memiliki nilai default dan harus ditentukan. stepCountmendukung nilainyaauto. automemprioritaskan kinerja model daripada biaya pelatihan dengan secara otomatis menentukan angka berdasarkan ukuran kumpulan data Anda. Biaya pekerjaan pelatihan tergantung pada jumlah yang auto menentukan. Untuk memahami bagaimana biaya pekerjaan dihitung dan untuk melihat contoh, lihat Harga Amazon Bedrock
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Minimum | Maksimum | Default |
|---|---|---|---|---|---|
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | 8 | 192 | 8 |
| Langkah-langkah | StepCount | Berapa kali model diekspos ke setiap batch | 10 | 40.000 | N/A |
| Tingkat pembelajaran | LearningRate | Nilai parameter model mana yang diperbarui setelah setiap batch | 1.00E-7 | 1 | 1,00E-5 |
Titan Multimodal Embeddings G1Model Amazon mendukung hyperparameters berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
catatan
epochCounttidak memiliki nilai default dan harus ditentukan. epochCountmendukung nilainyaAuto. Automemprioritaskan kinerja model daripada biaya pelatihan dengan secara otomatis menentukan angka berdasarkan ukuran kumpulan data Anda. Biaya pekerjaan pelatihan tergantung pada jumlah yang Auto menentukan. Untuk memahami bagaimana biaya pekerjaan dihitung dan untuk melihat contoh, lihat Harga Amazon Bedrock
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Tipe | Minimum | Maksimum | Default |
|---|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | integer | 1 | 100 | N/A |
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | integer | 256 | 9,216 | 576 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | float | 5.00E-8 | 1 | 5.00E-5 |
Model Anthropic Claude 3 mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
| Nama Konsol | Nama API | Definisi | Default | Minimum | Maksimum |
|---|---|---|---|---|---|
| Hitungan zaman | EpochCount | Jumlah maksimum iterasi melalui seluruh dataset pelatihan | 2 | 1 | 10 |
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | 32 | 4 | 256 |
| Pengganda tingkat pembelajaran | learningRateMultiplier | Pengganda yang mempengaruhi tingkat pembelajaran di mana parameter model diperbarui setelah setiap batch | 1 | 0.1 | 2 |
| Ambang batas penghentian awal | earlyStoppingThreshold | Peningkatan minimum dalam kehilangan validasi diperlukan untuk mencegah penghentian prematur dari proses pelatihan | 0,001 | 0 | 0.1 |
| Menghentikan kesabaran lebih awal | earlyStoppingPatience | Toleransi terhadap stagnasi dalam metrik kerugian validasi sebelum menghentikan proses pelatihan | 2 | 1 | 10 |
CohereCommand LightModel Cohere Command dan mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
Untuk informasi tentang Cohere model fine tuning, lihat Cohere dokumentasi di https://docs.cohere.com/docs/fine-tuning
catatan
epochCountKuota dapat disesuaikan.
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Tipe | Minimum | Maksimum | Default |
|---|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | integer | 1 | 100 | 1 |
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | integer | 8 | 8 (Perintah) 32 (Cahaya) |
8 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch. Jika Anda menggunakan kumpulan data validasi, sebaiknya Anda tidak memberikan nilai untuk. learningRate |
float | 5.00E-6 | 0.1 | 1,00E-5 |
| Ambang batas penghentian awal | earlyStoppingThreshold | Peningkatan minimum kerugian yang diperlukan untuk mencegah penghentian prematur dari proses pelatihan | float | 0 | 0.1 | 0,01 |
| Menghentikan kesabaran lebih awal | earlyStoppingPatience | Toleransi stagnasi dalam metrik kerugian sebelum menghentikan proses pelatihan | integer | 1 | 10 | 6 |
| Persentase evaluasi | EvalPersentase |
Persentase kumpulan data yang dialokasikan untuk evaluasi model, jika Anda tidak memberikan kumpulan data validasi terpisah |
float | 5 | 50 | 20 |
Model Meta Llama 3.1 8B dan 70B mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
Untuk informasi tentang fine tuning model Meta Llama, lihat Meta dokumentasi di https://ai.meta.com/llama/get-started/ #fine -tuning
catatan
epochCountKuota dapat disesuaikan.
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Minimum | Maksimum | Default |
|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | 1 | 10 | 5 |
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | 1 | 1 | 1 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | 5.00E-6 | 0.1 | 1.00E-4 |
Model Meta Llama 3.2 1B, 3B, 11B, dan 90B mendukung hyperparameter berikut untuk kustomisasi model. Jumlah epoch yang Anda tentukan meningkatkan biaya penyesuaian model Anda dengan memproses lebih banyak token. Setiap epoch memproses seluruh kumpulan data pelatihan satu kali. Untuk informasi tentang harga, lihat harga Amazon Bedrock
Untuk informasi tentang fine tuning model Meta Llama, lihat Meta dokumentasi di https://ai.meta.com/llama/get-started/ #fine -tuning
| Hyperparameter (konsol) | Hiperparameter (API) | Definisi | Minimum | Maksimum | Default |
|---|---|---|---|---|---|
| Zaman | EpochCount | Jumlah iterasi melalui seluruh dataset pelatihan | 1 | 10 | 5 |
| Ukuran batch | BatchSize | Jumlah sampel yang diproses sebelum memperbarui parameter model | 1 | 1 | 1 |
| Tingkat pembelajaran | LearningRate | Tingkat di mana parameter model diperbarui setelah setiap batch | 5.00E-6 | 0.1 | 1.00E-4 |
