View a markdown version of this page

체크포인트 지정 활성화 - Amazon SageMaker AI

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

체크포인트 지정 활성화

체크포인트 지정이 활성화된 후에는 SageMaker AI가 Amazon S3에 체크포인트를 저장하고, 훈련 작업을 체크포인트 S3 버킷과 동기화합니다. 체크포인트 S3 버킷에 S3 범용 버킷 또는 S3 디렉터리 버킷을 사용할 수 있습니다.

훈련 중 체크포인트를 기록하는 아키텍처 다이어그램.

다음 예제에서는 SageMaker AI 훈련 객체를 구성할 때 체크포인트 경로를 구성하는 방법을 보여줍니다.

체크포인트를 활성화하려면에 checkpoint_config 파라미터를 추가합니다ModelTrainer. 다음 예제 템플릿은 SageMaker AI를 생성하고 체크포인트를 ModelTrainer 활성화하는 방법을 보여줍니다. training_image 파라미터를 지정하여 지원되는 모든 알고리즘에이 템플릿을 사용할 수 있습니다. SageMaker AI에서 지원하고 체크포인트 기능이 포함된 알고리즘의 Docker 이미지 URI를 찾으려면 Docker Registry Paths and Example Code를 참조하세요. V3에서 통합 ModelTrainer 클래스는 모든 프레임워크별 예측기 클래스(TensorFlow, PyTorch, HuggingFace, XGBoost 등)를 대체합니다.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, CheckpointConfig
from sagemaker.core.helper.session_helper import Session

bucket = Session().default_bucket()
base_job_name = "sagemaker-checkpoint-test"
checkpoint_in_bucket = "checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket = "s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

model_trainer = ModelTrainer(
    training_image="<ecr_path>/<algorithm-name>:<tag>",
    role=role,
    compute=Compute(instance_type="ml.m5.xlarge", instance_count=1),
    base_job_name=base_job_name,
    checkpoint_config=CheckpointConfig(
        s3_uri=checkpoint_s3_bucket,
        local_path="/opt/ml/checkpoints"
    )
)

checkpoint_config 파라미터는 다음 필드가 있는 CheckpointConfig 객체를 허용합니다.

  • local_path - 모델이 훈련 컨테이너에 체크포인트를 주기적으로 저장하는 로컬 경로입니다. 기본 경로는 '/opt/ml/checkpoints'(으)로 설정됩니다. 다른 프레임워크를 사용하거나 자체 훈련 컨테이너를 가져오려면 훈련 스크립트의 체크포인트 구성에서 경로가 '/opt/ml/checkpoints'(으)로 지정되어 있는지 확인하세요.

    참고

    '/opt/ml/checkpoints'가 SageMaker AI의 기본값 체크포인트 설정과 일치하도록 로컬 경로를 지정하는 것이 좋습니다. 자체 로컬 경로를 지정하려면 훈련 스크립트의 체크포인트 저장 경로와의 local_path와 일치해야 합니다CheckpointConfig.

  • s3_uri – 체크포인트가 실시간으로 저장되는 S3 버킷의 URI입니다. 체크포인트를 저장할 S3 범용 버킷 또는 S3 디렉터리 버킷을 지정할 수 있습니다. S3 디렉터리 버킷에 대한 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 디렉터리 버킷을 참조하세요.

SageMaker AI ModelTrainer 파라미터의 전체 목록을 찾으려면 Amazon SageMaker Python SDK 설명서의 ModelTrainer API를 참조하세요. Amazon SageMaker