Penyetelan halus yang diawasi pada 2.0 Amazon Nova - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyetelan halus yang diawasi pada 2.0 Amazon Nova

Gambaran umum

Amazon NovaData 2.0 SFT menggunakan format Converse API yang sama dengan Amazon Nova 1.0, dengan penambahan bidang konten penalaran opsional. Untuk spesifikasi format lengkap, lihat ReasoningContentBlockdan skema Converse API.

Fitur yang didukung

  • Jenis input - Teks, gambar, atau video di blok konten pengguna

  • Konten asisten - Tanggapan khusus teks dan konten penalaran

  • Komposisi dataset — Harus homogen. Pilih salah satu dari berikut ini: belokan teks saja, teks + gambar berubah, atau teks+video berubah

penting

Anda tidak dapat mencampur gambar dan video dalam kumpulan data yang sama atau di belokan yang berbeda.

Keterbatasan saat ini

  • Penggunaan alat - Meskipun penggunaan alat didukung dalam format input, saat ini tidak didukung oleh Amazon Nova 2.0 SFT. Menambahkan bagian alat dapat menyebabkan pekerjaan Anda gagal.

  • Konten penalaran multimodal - Meskipun format Converse mendukung konten penalaran berbasis gambar, ini tidak didukung oleh 2.0 SFT. Amazon Nova

  • Set validasi - Menyediakan set validasi mungkin didukung melalui UI tetapi tidak akan didukung selama pelatihan SFT.

Format media yang didukung

  • Gambar - PNG, JPEG, GIF

  • Video - MOV, MKV, MP4

Contoh format data

Text-only

Contoh ini menunjukkan format teks dasar saja yang kompatibel dengan Amazon Nova 1.0.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "text": "The closest country is New Zealand" } ] } ] }
Text with reasoning

Contoh ini menunjukkan teks dengan konten penalaran opsional untuk Amazon Nova 2.0.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I need to use my world knowledge of geography to answer this question" } } }, { "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea." } ] } ] }
catatan

Saat ini, hanya reasoningText didukung di dalamreasoningContent. Konten penalaran multimodal belum tersedia.

Image + text

Contoh ini menunjukkan bagaimana memasukkan input gambar dengan teks.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "image": { "format": "jpeg", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-image.jpg", "bucketOwner": "your-aws-account-id" } } } }, { "text": "Which country is highlighted in the image?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge" } } }, { "text": "The highlighted country is New Zealand" } ] } ] }
Video + text

Contoh ini menunjukkan cara memasukkan input video dengan teks.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-video.mp4", "bucketOwner": "your-aws-account-id" } } } }, { "text": "What is shown in this video?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will analyze the video content to identify key elements" } } }, { "text": "The video shows a map with New Zealand highlighted" } ] } ] }

Mode penalaran dan non-penalaran

Memahami konten penalaran: Konten penalaran (juga disebut chain-of-thought) menangkap langkah-langkah pemikiran menengah model sebelum menghasilkan jawaban akhir. Pada assistant gilirannya, gunakan reasoningContent bidang untuk memasukkan jejak penalaran ini.

Bagaimana kerugian dihitung:

  • Dengan konten penalaran — Kerugian pelatihan mencakup token penalaran dan token keluaran akhir

  • Tanpa penalaran konten - Kerugian pelatihan dihitung hanya pada token keluaran akhir

Anda dapat menyertakan reasoningContent beberapa giliran asisten dalam percakapan multi-putaran.

Kapan mengaktifkan mode penalaran

Tetapkan reasoning_enabled: true konfigurasi pelatihan Anda saat Anda ingin model menghasilkan token pemikiran sebelum menghasilkan output akhir atau perlu meningkatkan kinerja pada tugas penalaran yang kompleks.

catatan

Anda dapat mengaktifkan mode penalaran terlepas dari apakah data pelatihan Anda berisi konten penalaran. Namun, memasukkan jejak penalaran dalam data pelatihan Anda disarankan agar model dapat belajar dari contoh-contoh ini dan meningkatkan kualitas penalaran.

Tetapkan reasoning_enabled: false saat Anda berlatih tentang tugas-tugas sederhana yang tidak mendapat manfaat dari langkah penalaran eksplisit atau ingin mengoptimalkan kecepatan dan mengurangi penggunaan token.

Pedoman pemformatan

  • Gunakan teks biasa untuk penalaran konten.

  • Hindari tag markup seperti <thinking> dan </thinking> kecuali secara khusus diperlukan oleh tugas Anda.

  • Pastikan konten penalaran jelas dan relevan dengan proses pemecahan masalah.

Menghasilkan data penalaran

Jika kumpulan data Anda tidak memiliki jejak penalaran, Anda dapat membuatnya menggunakan model berkemampuan penalaran seperti. Berikan pasangan input-output Anda ke model dan tangkap proses penalarannya untuk membangun kumpulan data yang diperbesar dengan alasan.

Menggunakan token penalaran untuk pelatihan

Ketika pelatihan dengan mode penalaran diaktifkan, model belajar untuk memisahkan penalaran internal dari jawaban akhir. Proses pelatihan melakukan hal berikut:

  • Mengatur data sebagai tiga kali lipat: masukan, penalaran, dan jawaban

  • Mengoptimalkan menggunakan kerugian prediksi token berikutnya standar dari token penalaran dan jawaban

  • Mendorong model untuk bernalar secara internal sebelum menghasilkan tanggapan

Konten penalaran yang efektif

Konten penalaran berkualitas tinggi harus mencakup yang berikut:

  • Pikiran dan analisis menengah

  • Pengurangan logis dan langkah inferensi

  • Step-by-step pendekatan pemecahan masalah

  • Hubungan eksplisit antara langkah dan kesimpulan

Ini membantu model mengembangkan kemampuan berpikir sebelum menjawab.

Pedoman persiapan kumpulan data

Tabel berikut memberikan panduan untuk mempersiapkan dataset pelatihan Anda.

Pedoman persiapan kumpulan data

Pedoman Deskripsi
Ukuran dan kualitas
  • Ukuran yang disarankan: 2.000-10.000 sampel

  • Sampel minimum: 200

  • Prioritaskan kualitas daripada kuantitas. Pastikan contoh akurat dan beranotasi dengan baik.

  • Dataset harus mencerminkan kasus penggunaan produksi Anda.

Keanekaragaman

Sertakan beragam contoh yang melakukan hal berikut:

  • Tutupi berbagai input yang diharapkan

  • Mewakili tingkat kesulitan yang berbeda

  • Sertakan kasus tepi dan variasi

  • Cegah overfitting ke pola yang sempit

Pemformatan keluaran

Tentukan dengan jelas format output yang diinginkan dalam tanggapan asisten. Contohnya termasuk struktur JSON, tabel, format CSV, atau format kustom khusus untuk aplikasi Anda.

Percakapan multi-giliran
  • Kerugian dihitung hanya pada giliran asisten, bukan putaran pengguna.

  • Setiap respons asisten harus diformat dengan benar.

  • Pertahankan konsistensi di seluruh belokan percakapan.

Daftar periksa kualitas
  • Ukuran dataset yang memadai (2.000-10.000 sampel)

  • Beragam contoh yang mencakup semua kasus penggunaan

  • Pemformatan keluaran yang jelas dan konsisten

  • Label dan anotasi yang akurat

  • Perwakilan skenario produksi

  • Bebas dari kontradiksi atau ambiguitas