View a markdown version of this page

Aktifkan checkpointing - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Aktifkan checkpointing

Setelah Anda mengaktifkan checkpointing, SageMaker AI menyimpan pos pemeriksaan ke Amazon S3 dan menyinkronkan pekerjaan pelatihan Anda dengan bucket pos pemeriksaan S3. Anda dapat menggunakan bucket direktori tujuan umum S3 atau S3 untuk bucket S3 checkpoint Anda.

Diagram arsitektur penulisan pos pemeriksaan selama pelatihan.

Contoh berikut menunjukkan cara mengonfigurasi jalur pos pemeriksaan saat Anda membuat objek pelatihan SageMaker AI.

Untuk mengaktifkan checkpointing, tambahkan checkpoint_config parameter ke. ModelTrainer Template contoh berikut menunjukkan cara membuat SageMaker AI ModelTrainer dan mengaktifkan checkpointing. Anda dapat menggunakan template ini untuk algoritma yang didukung dengan menentukan training_image parameter. Untuk menemukan URI gambar Docker untuk algoritma dengan checkpoint yang didukung oleh SageMaker AI, lihat Docker Registry Paths dan Contoh Kode. Di V3, kelas terpadu menggantikan semua ModelTrainer kelas estimator khusus kerangka kerja (TensorFlow,,, XGBoost PyTorch HuggingFace, dll.).

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, CheckpointConfig
from sagemaker.core.helper.session_helper import Session

bucket = Session().default_bucket()
base_job_name = "sagemaker-checkpoint-test"
checkpoint_in_bucket = "checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket = "s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

model_trainer = ModelTrainer(
    training_image="<ecr_path>/<algorithm-name>:<tag>",
    role=role,
    compute=Compute(instance_type="ml.m5.xlarge", instance_count=1),
    base_job_name=base_job_name,
    checkpoint_config=CheckpointConfig(
        s3_uri=checkpoint_s3_bucket,
        local_path="/opt/ml/checkpoints"
    )
)

checkpoint_configParameter menerima CheckpointConfig objek dengan bidang berikut:

  • local_path— Jalur lokal tempat model menyimpan pos pemeriksaan secara berkala dalam wadah pelatihan. Jalur default disetel ke'/opt/ml/checkpoints'. Jika Anda menggunakan kerangka kerja lain atau membawa wadah pelatihan Anda sendiri, pastikan konfigurasi pos pemeriksaan skrip pelatihan Anda menentukan jalur ke'/opt/ml/checkpoints'.

    catatan

    Sebaiknya tentukan jalur lokal '/opt/ml/checkpoints' agar konsisten dengan pengaturan pos pemeriksaan SageMaker AI default. Jika Anda lebih suka menentukan jalur lokal Anda sendiri, pastikan Anda mencocokkan jalur penyimpanan pos pemeriksaan di skrip pelatihan Anda dan local_path di skrip pelatihan AndaCheckpointConfig.

  • s3_uri— URI ke bucket S3 tempat pos pemeriksaan disimpan secara real time. Anda dapat menentukan tujuan umum S3 atau bucket direktori S3 untuk menyimpan pos pemeriksaan Anda. Untuk informasi selengkapnya tentang bucket direktori S3, lihat Bucket direktori di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Untuk menemukan daftar lengkap ModelTrainer parameter SageMaker AI, lihat ModelTrainer API di dokumentasi Amazon SageMaker Python SDK.