Kirim pekerjaan distilasi model di Amazon Bedrock - Amazon Bedrock
PrasyaratKirimkan pekerjaan AndaLangkah selanjutnya

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kirim pekerjaan distilasi model di Amazon Bedrock

Anda dapat melakukan distilasi model melalui konsol Amazon Bedrock atau dengan mengirimkan CreateModelCustomizationJobpermintaan dengan titik akhir bidang kontrol Amazon Bedrock.

Prasyarat

Untuk informasi lebih lanjut tentang pengaturan inferensi permintaan, lihatSiapkan inferensi untuk model khusus.

Kirimkan pekerjaan Anda

Console

  1. Masuk ke Konsol Manajemen AWS dengan identitas IAM yang memiliki izin untuk menggunakan konsol Amazon Bedrock. Kemudian, buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock.

  2. Dari panel navigasi kiri, pilih Model khusus di bawah Tune.

  3. Pilih Buat pekerjaan distilasi.

  4. Untuk detail model Distilled, lakukan hal berikut:

    1. Untuk nama model Distilled, masukkan nama untuk model suling Anda.

    2. (Opsional) Untuk enkripsi Model, pilih kotak centang jika Anda ingin memberikan kunci KMS untuk mengenkripsi pekerjaan Anda dan artefak terkait.

      Untuk informasi selengkapnya, lihat Enkripsi model khusus.

    3. (Opsional) Terapkan Tag ke model suling Anda.

  5. Untuk konfigurasi Job, lakukan hal berikut:

    1. Untuk nama Job, masukkan nama untuk pekerjaan distilasi Anda.

    2. (Opsional) Untuk enkripsi Model, pilih kotak centang jika Anda ingin memberikan kunci KMS untuk mengenkripsi pekerjaan Anda dan artefak terkait.

      Untuk informasi selengkapnya, lihat Enkripsi model khusus.

    3. (Opsional) Terapkan Tag ke pekerjaan Anda.

  6. Untuk model Guru — Detail model siswa, pilih model guru dan siswa untuk membuat model suling Anda.

    Untuk informasi selengkapnya, lihat Prasyarat untuk distilasi model.

  7. Untuk pembuatan data sintetis, lakukan hal berikut:

    1. Untuk panjang respons Maks, tentukan panjang maksimum respons sintetis yang dihasilkan oleh model guru.

    2. Untuk dataset input Distilasi, pilih salah satu opsi berikut:

      • Unggah langsung ke lokasi S3 - Tentukan lokasi S3 tempat Anda menyimpan kumpulan data input (prompt) yang akan digunakan untuk distilasi. Untuk informasi selengkapnya, lihat Opsi 1: Berikan petunjuk Anda sendiri untuk persiapan data.

      • Menyediakan akses ke log pemanggilan — Tentukan lokasi S3 tempat Anda menyimpan log pemanggilan dengan kumpulan data input (prompt) yang akan digunakan untuk distilasi. Untuk informasi selengkapnya, lihat Opsi 2: Gunakan log pemanggilan untuk persiapan data.

        • (Opsional) Untuk Filter Metadata Permintaan, tentukan filter jika Anda ingin Amazon Bedrock hanya menggunakan petunjuk tertentu di log Anda untuk distilasi.

        • Pilih Read prompt atau Read prompt-response pair tergantung pada apa yang Anda inginkan Amazon Bedrock untuk mengakses dari log Anda. Ingatlah bahwa respons hanya dibaca jika model guru Anda cocok dengan model di log Anda.

  8. Untuk keluaran Distilasi, tentukan lokasi S3 tempat Anda ingin mengunggah metrik dan laporan tentang pekerjaan distilasi Anda.

    Untuk informasi selengkapnya, lihat Menganalisis hasil pekerjaan kustomisasi model.

  9. Untuk pengaturan VPC, pilih konfigurasi VPC untuk mengakses bucket S3 dengan data latihan Anda.

    Untuk informasi selengkapnya, lihat (Opsional) Lindungi pekerjaan penyesuaian model Anda menggunakan VPC.

  10. Untuk akses Layanan, tentukan peran IAM untuk mengakses bucket S3 dengan data latihan Anda. Kecuali Anda menggunakan profil inferensi Lintas Wilayah atau konfigurasi VPC, Anda dapat membuat peran di konsol Amazon Bedrock dengan izin yang benar dikonfigurasi secara otomatis. Atau Anda dapat menggunakan peran layanan yang ada.

    Untuk pekerjaan yang memiliki konfigurasi VPC Amazon atau menggunakan profil inferensi Lintas Wilayah, Anda harus membuat peran layanan baru di IAM yang memiliki izin yang diperlukan.

    Untuk informasi selengkapnya, lihat Buat peran layanan IAM untuk kustomisasi model.

  11. Pilih Buat pekerjaan distilasi untuk memulai pekerjaan distilasi. Setelah Anda menyesuaikan model, Anda dapat mengatur inferensi untuk model. Untuk informasi selengkapnya, lihat Siapkan inferensi untuk model khusus.

API

Minimal, Anda harus menyediakan kolom berikut untuk mengirimkan pekerjaan distilasi model Anda saat menggunakan Amazon Bedrock API.

Bidang Deskripsi
baseModelIdentifier Pengidentifikasi model model siswa
customModelName Nama model suling baru
jobName Nama pekerjaan distilasi model
roleArn Peran yang memberikan izin Amazon Bedrock untuk membaca file pelatihan dan validasi dan menulis ke jalur keluaran
trainingDataConfig Jalur Amazon S3 yang memiliki data pelatihan Anda
outputDataConfig Jalur Amazon S3 yang berisi metrik pelatihan dan validasi Anda
DistillationConfig Input yang diperlukan untuk pekerjaan distilasi
customModelKmsKeyId Untuk mengenkripsi model kustom
clientRequestToken Token untuk mencegah permintaan selesai lebih dari satu kali

Bidang berikut adalah opsional:

Bidang Deskripsi
CustomizationType Setel ke secara DISTILLATION default untuk pekerjaan distilasi
validationDataConfig Daftar data validasi jalur Amazon S3
JobTags Untuk mengaitkan tag dengan pekerjaan
customModelTags Untuk mengaitkan tag dengan model kustom yang dihasilkan
vpcConfig VPC untuk melindungi data pelatihan dan pekerjaan distilasi

Untuk mencegah permintaan selesai lebih dari satu kali, sertakan aclientRequestToken.

Anda dapat menyertakan bidang opsional berikut untuk konfigurasi tambahan.

Berikut ini adalah contoh cuplikan dari CreateModelCustomizationJobAPI. Contoh ini menggunakan pasangan prompt respons dalam log pemanggilan sebagai sumber data input dan menentukan filter untuk memilih pasangan prompt respons. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Respons

Respons mengembalikan pekerjaan distilasi model. jobArn

Langkah selanjutnya