View a markdown version of this page

Fine-tune model bahasa besar (LLM) menggunakan adaptasi domain - Amazon SageMaker AI
Mempersiapkan dan mengunggah data pelatihan untuk penyetelan adaptasi domainBuat pekerjaan pelatihan untuk penyempurnaan berbasis instruksiNotebook contoh

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Fine-tune model bahasa besar (LLM) menggunakan adaptasi domain

Penyetelan adaptasi domain memungkinkan Anda memanfaatkan model dasar yang telah dilatih sebelumnya dan menyesuaikannya dengan tugas tertentu menggunakan data khusus domain terbatas. Jika upaya rekayasa yang cepat tidak memberikan penyesuaian yang cukup, Anda dapat menggunakan penyesuaian adaptasi domain untuk membuat model Anda bekerja dengan bahasa khusus domain, seperti jargon industri, istilah teknis, atau data khusus lainnya. Proses penyempurnaan ini memodifikasi bobot model.

Untuk menyempurnakan model Anda pada dataset khusus domain:

  1. Siapkan data pelatihan Anda. Untuk petunjuk, lihat Mempersiapkan dan mengunggah data pelatihan untuk penyetelan adaptasi domain.

  2. Buat pekerjaan pelatihan penyempurnaan Anda. Untuk petunjuk, lihat Buat pekerjaan pelatihan untuk penyempurnaan berbasis instruksi.

Anda dapat menemukan contoh ujung ke ujung diNotebook contoh.

Penyetelan adaptasi domain tersedia dengan model dasar berikut:

catatan

Beberapa model JumpStart dasar, seperti Llama 2 7B, memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum menyempurnakan dan melakukan inferensi. Untuk informasi selengkapnya, lihat End-user perjanjian lisensi.

  • Mekar 3B

  • Mekar 7B1

  • BloomZ 3B FP16

  • BloomZ 7B1 FP16

  • GPT-2 XL

  • GPT-J 6B

  • GPT-Neo 1,3B

  • GPT-Neo 125M

  • GPT-NEO 2,7B

  • Lama 2 13B

  • Llama 2 13B Chat

  • Llama 2 13B Neuron

  • Lama 2 70B

  • Llama 2 70B Chat

  • Lama 2 7B

  • Llama 2 7B Chat

  • Llama 2 7B Neuron

Mempersiapkan dan mengunggah data pelatihan untuk penyetelan adaptasi domain

Data pelatihan untuk penyetelan adaptasi domain dapat disediakan dalam format file CSV, JSON, atau TXT. Semua data pelatihan harus dalam satu file dalam satu folder.

Data pelatihan diambil dari kolom Teks untuk file data pelatihan CSV atau JSON. Jika tidak ada kolom yang diberi label Teks, maka data pelatihan diambil dari kolom pertama untuk file data pelatihan CSV atau JSON.

Berikut ini adalah contoh body file TXT yang akan digunakan untuk penyempurnaan:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....

Pisahkan data untuk pelatihan dan pengujian

Anda dapat secara opsional menyediakan folder lain yang berisi data validasi. Folder ini juga harus menyertakan satu file CSV, JSON, atau TXT. Jika tidak ada dataset validasi yang disediakan, maka sejumlah data pelatihan disisihkan untuk tujuan validasi. Anda dapat menyesuaikan persentase data pelatihan yang digunakan untuk validasi saat memilih hyperparameter untuk menyempurnakan model Anda.

Unggah data penyetelan halus ke Amazon S3

Unggah data yang sudah disiapkan ke Amazon Simple Storage Service (Amazon S3) untuk digunakan saat menyempurnakan model JumpStart dasar. Anda dapat menggunakan perintah berikut untuk mengunggah data Anda:

from sagemaker.s3 import S3Uploader
import sagemaker
import random

output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")

Buat pekerjaan pelatihan untuk penyempurnaan berbasis instruksi

Setelah data diunggah ke Amazon S3, Anda dapat menyempurnakan dan menerapkan model JumpStart dasar Anda. Untuk menyempurnakan model Anda di Studio, lihatFine-tune model di Studio. Untuk menyempurnakan model Anda menggunakan SageMaker Python SDK, lihatFine-tune model pondasi yang tersedia untuk umum dengan JumpStartEstimator kelas.

Notebook contoh

Untuk informasi selengkapnya tentang penyetelan adaptasi domain, lihat contoh buku catatan berikut: