Fine-tune model hub yang dikuratori

Pastikan peran IAM pengguna Anda memiliki TrainHubModel izin SageMaker AI yang terlampir. Untuk informasi selengkapnya, lihat Menambahkan dan menghapus izin identitas IAM di Panduan AWS Pengguna IAM.

Anda harus melampirkan kebijakan seperti contoh berikut ke peran IAM pengguna Anda:

Memiliki hub pribadi yang dikuratori dengan referensi model ke JumpStart model yang ingin Anda sesuaikan. Untuk informasi selengkapnya tentang membuat hub pribadi, lihatBuat hub model pribadi. Untuk mempelajari cara menambahkan JumpStart model yang tersedia untuk umum ke hub pribadi Anda, lihatTambahkan model ke hub pribadi.

Miliki dataset pelatihan yang ingin Anda gunakan untuk menyempurnakan model. Dataset harus dalam format pelatihan yang sesuai untuk model yang ingin Anda sesuaikan.

Pastikan bahwa Anda telah menginstal versi terbaru (setidaknya3.0.0) SageMaker Python SDK. Untuk informasi selengkapnya, lihat Menggunakan Versi 3.x dari SageMaker Python SDK di situs web Baca Dokumen.

!pip install --upgrade sagemaker

Impor AWS SDK untuk Python (Boto3) dan modul yang Anda butuhkan dari SageMaker Python SDK.

import boto3
from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, InputData
from sagemaker.core.jumpstart.configs import JumpStartConfig
from sagemaker.core.helper.session_helper import Session

Inisialisasi sesi Boto3, klien SageMaker AI, dan sesi SageMaker Python SDK.

sagemaker_client = boto3.Session(region_name=<AWS-region>).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)

Buat ModelTrainer menggunakan from_jumpstart_config dan berikan ID JumpStart model, nama hub Anda yang berisi referensi model, dan sesi SageMaker Python SDK Anda. Untuk mencantumkan ID model yang tersedia secara terprogram, gunakan hub.list_sagemaker_public_hub_models() metode di SageMaker Python SDK.

Secara opsional, Anda dapat menentukan instance_count bidang instance_type dan saat membuat ModelTrainer. Jika tidak, pekerjaan pelatihan menggunakan jenis instans default dan hitungan untuk model yang Anda gunakan.

Anda juga dapat secara opsional menentukan output_path lokasi Amazon S3 tempat Anda ingin menyimpan bobot model yang disetel dengan baik. Jika Anda tidak menentukanoutput_path, maka gunakan bucket SageMaker AI Amazon S3 default untuk wilayah di akun Anda, dinamai dengan format berikut:sagemaker-<region>-<account-id>.

jumpstart_config = JumpStartConfig(
    model_id="meta-textgeneration-llama-3-2-1b",
    hub_name=<your-hub-name>,
    # For gated models, set accept_eula=True to accept the end-user license agreement.
    # This example uses False. Change it to True to accept the EULA for gated models.
    accept_eula=False,
)
model_trainer = ModelTrainer.from_jumpstart_config(
    jumpstart_config=jumpstart_config,
    # Optional: specify your desired instance type and count for the training job.
    # compute=Compute(instance_type="ml.g5.2xlarge", instance_count=1),
    # Optional: specify a custom S3 location to store the fine-tuned model artifacts.
    # output_path="s3://<output-path-for-model-artifacts>",
)

Buat InputData objek. Atur channel_name ke train dan data_source ke lokasi kumpulan data penyempurnaan Anda. Dalam contoh berikut, ganti <your-fine-tuning-dataset> dengan URI Amazon S3 dari dataset Anda. Jika Anda memiliki pertimbangan tambahan, seperti menggunakan mode lokal atau beberapa saluran data pelatihan, lihat SageMaker Melatih dalam dokumentasi SageMaker Python SDK di situs web Baca Dokumen.

training_input = InputData(
    channel_name="train",
    data_source="s3://<your-fine-tuning-dataset>",
)

Panggil train() metode pelatih model dan berikan data pelatihan Anda. Nyatakan penerimaan EULA pada JumpStartConfig (ditunjukkan pada langkah sebelumnya), bukan dalam train() panggilan.

model_trainer.train(input_data_config=[training_input])