Siapkan kumpulan data pelatihan Anda untuk distilasi

Model yang tercantum hanya Model dan Wilayah yang didukung untuk Distilasi Model Batuan Dasar Amazon mendukung text-to-text modalitas.

Selama distilasi model, Amazon Bedrock menghasilkan kumpulan data sintetis yang digunakannya untuk menyempurnakan model siswa Anda untuk kasus penggunaan spesifik Anda. Untuk informasi selengkapnya, lihat Cara kerja Distilasi Model Amazon Bedrock.

Anda dapat mengoptimalkan proses pembuatan data sintetis dengan memformat prompt input Anda untuk kasus penggunaan yang Anda inginkan. Misalnya, jika kasus penggunaan model suling Anda adalah retrieval augmented generation (RAG), Anda akan memformat prompt Anda secara berbeda daripada jika Anda ingin model fokus pada kasus penggunaan agen.

Berikut ini adalah contoh bagaimana Anda dapat memformat prompt input Anda untuk kasus penggunaan RAG atau agen.

Kumpulkan petunjuk Anda dan simpan dalam format .jsonl file. Setiap catatan di JSONL harus menggunakan struktur berikut.

Anthropicdan Meta Llama model hanya mendukung permintaan percakapan satu putaran, artinya Anda hanya dapat memiliki satu prompt pengguna. Amazon NovaModel mendukung percakapan multi-putaran, memungkinkan Anda untuk menyediakan beberapa pertukaran pengguna dan asisten dalam satu catatan.

Contoh format

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "A chat between a curious User and an artificial intelligence Bot. The Bot gives helpful, detailed, and polite answers to the User's questions."
    }],
    "messages": [{
            "role": "user",
            "content": [{
                "text": "why is the sky blue"
            }]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The sky is blue because molecules in the air scatter blue light from the Sun more than other colors."
            }]
        }
    ]
}}

Validasi kumpulan data Anda

Sebelum Anda menjalankan pekerjaan distilasi Anda, Anda dapat memvalidasi dataset input Anda menggunakan skrip Python.

Saat membuat pekerjaan distilasi, Amazon Bedrock dapat menggunakan tanggapan guru yang ada dari CloudWatch log pemanggilan Log sebagai data pelatihan. Untuk Amazon Bedrock, log pemanggilan adalah catatan rinci tentang pemanggilan model.

Untuk menggunakan log pemanggilan untuk distilasi model, setel log pemanggilan model, gunakan salah satu operasi pemanggilan model, dan pastikan Anda telah menyiapkan bucket Amazon S3 sebagai tujuan log. Sebelum Anda dapat memulai pekerjaan distilasi model, Anda harus memberikan izin Amazon Bedrock untuk mengakses log. Untuk informasi selengkapnya tentang menyiapkan log pemanggilan, lihat Memantau pemanggilan model menggunakan Amazon Logs. CloudWatch

Dengan opsi ini, Anda dapat menentukan apakah Anda ingin Amazon Bedrock hanya menggunakan petunjuknya, atau menggunakan pasangan prompt respons dari log pemanggilan. Jika Anda ingin Amazon Bedrock hanya menggunakan prompt, maka Amazon Bedrock dapat menambahkan teknik sintesis data eksklusif untuk menghasilkan respons yang beragam dan berkualitas lebih tinggi dari model guru. Jika Anda ingin Amazon Bedrock menggunakan pasangan prompt respons, Amazon Bedrock tidak akan menghasilkan kembali respons dari model guru. Amazon Bedrock akan langsung menggunakan tanggapan dari log pemanggilan untuk menyempurnakan model siswa.

Anda dapat menambahkan metadata permintaan secara opsional ke pasangan prompt respons dalam log pemanggilan menggunakan salah satu operasi pemanggilan model dan kemudian menggunakannya untuk memfilter log. Amazon Bedrock dapat menggunakan log yang difilter untuk menyempurnakan model siswa.

Untuk memfilter log menggunakan beberapa metadata permintaan, gunakan satu operasi Boolean operator AND, OR, atau NOT. Anda tidak dapat menggabungkan operasi. Untuk pemfilteran metadata permintaan tunggal, gunakan operator Boolean NOT.

Tambahkan metadata permintaan ke prompt dan tanggapan di log pemanggilan Anda untuk distilasi model

Pencatatan pemanggilan model mengumpulkan log pemanggilan, data input model (prompt), dan data keluaran model (respons) untuk semua pemanggilan yang digunakan di Amazon Bedrock. Jika Anda telah mengaktifkan logging, Anda dapat mengumpulkan log setiap kali Anda berinteraksi dengan model dasar Amazon Bedrock melalui operasi Converse API Invoke atau apa pun. Jika Anda ingin Amazon Bedrock menggunakan prompt dan tanggapan terkait dari log pemanggilan untuk menyempurnakan model siswa, maka Anda harus memberi Amazon Bedrock akses ke log ini. Menggunakan respons yang telah dihasilkan model membuatnya lebih cepat untuk menyempurnakan model siswa. Menggunakan tanggapan dari log pemanggilan juga membuat distilasi model lebih hemat biaya, namun, teknik sintesis data milik Amazon Bedrock tidak ditambahkan yang dapat menghasilkan model suling yang lebih berkinerja.

Dengan log pemanggilan, Anda dapat mengidentifikasi pasangan prompt respons yang ingin digunakan Amazon Bedrock untuk distilasi model. Pasangan respon cepat ini bisa untuk kasus penggunaan tertentu. Agar dapat mengidentifikasi pasangan respons prompt yang akan digunakan untuk distilasi, Anda harus menambahkan string metadata permintaan ke pasangan respons prompt saat Anda memanggil model atau menggunakan operasi API. Converse Metadata permintaan disediakan dalam format:. "priority" : "High"

Saat Anda terus berinteraksi dengan model menggunakan operasi Invoke atau Converse API, interaksi dan metadata permintaan dicatat di log pemanggilan. Berikut ini adalah contoh log pemanggilan dari InvokeModel panggilan yang menunjukkan metadata permintaan:

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-09-11T17:16:18Z",
    "accountId": "XXXXX",
    "identity": {
        "arn": "arn:aws:sts::XXXXXXX:assumed-role/Admin/XXXXXX"
    },
    "region": "us-east-1",
    "requestId": "7ee514f3-9eff-467c-af75-8fd564ce58e5",
    "operation": "InvokeModel",
    "modelId": "meta.llama3-1-405b-instruct-v1:0",
    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "prompt": "story of two dogs",
            "max_tokens_to_sample": 300
        },
        "inputTokenCount": 13
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "type": "completion",
            "completion": " Here is a story about two dogs:\n\nRex and Charlie were best friends who lived next door to each other. Every morning, their owners would let them out into the backyard to play. Rex was a golden retriever with long, shaggy fur. He loved to run and chase sticks. Charlie was a corgi with short legs and a big smile. He was happy just sniffing the grass and rolling around. \n\nThe two dogs spent every day playing together. Rex would grab a stick and bring it over to Charlie, wagging his tail excitedly. Charlie would take the other end of the stick in his mouth and they'd have a friendly game of tug-of-war. After tiring themselves out, they'd flop down in the warm sunshine for a nap. \n\nAt lunchtime, their owners would call them in for food. Rex would gobble up his kibble hungrily while Charlie ate his at a more leisurely pace. After lunch, it was right back outside for more playtime. The afternoon sunbeams would light up their fur as they chased each other around the yard. \n\nWhen it started getting late, their owners called them in for the night. Rex and Charlie would head inside, tired but happy after another fun day of play. After slurping up fresh water from their bowls, they'd curl up on their beds, Rex's fluffy golden tail tucked over his nose and little",
            "stop_reason": "max_tokens",
            "stop": null
        },
        "outputTokenCount": 300
    },
    "requestMetadata": {
        "project": "CustomerService",
        "intent": "ComplaintResolution",
        "priority": "High"
    }
}
     

Anda dapat menentukan log pemanggilan sebagai sumber data masukan saat memulai pekerjaan distilasi model. Anda dapat memulai pekerjaan distilasi model di konsol Amazon Bedrock, menggunakan API AWS CLI, atau AWS SDK.

Persyaratan untuk menyediakan metadata permintaan

Metadata permintaan harus memenuhi persyaratan berikut:

Menggunakan filter metadata permintaan

Anda dapat menerapkan filter ke metadata permintaan untuk secara selektif memilih pasangan permintaan-respons mana yang akan disertakan dalam distilasi untuk menyempurnakan model siswa. Misalnya, Anda mungkin hanya ingin menyertakan metadata permintaan “project”: CustomerService "" dan “priority”: “High”.

Untuk memfilter log menggunakan beberapa metadata permintaan, gunakan satu operator Boolean AND, OR, atau NOT. Anda tidak dapat menggabungkan operasi. Untuk pemfilteran metadata permintaan tunggal, gunakan operator Boolean NOT.

Anda dapat menentukan log pemanggilan sebagai sumber data input Anda dan filter apa yang akan digunakan untuk memilih pasangan prompt respons saat Anda memulai pekerjaan distilasi model. Anda dapat memulai pekerjaan distilasi model di konsol Amazon Bedrock, menggunakan API AWS CLI, atau AWS SDK. Untuk informasi selengkapnya, lihat Kirim pekerjaan distilasi model di Amazon Bedrock.

Validasi kumpulan data Anda

Sebelum Anda menjalankan pekerjaan distilasi Anda, Anda dapat memvalidasi dataset input Anda menggunakan skrip Python.