SageMaker AI 및 Hydra를 사용하여 로컬 개발에서 확장 가능한 실험으로 기계 학습 워크플로 간소화

가상 환경을 생성하고 활성화합니다.

가상 환경을 생성하고 활성화하려면 리포지토리의 루트에서 다음 명령을 실행합니다.

poetry install 
poetry shell

인프라를 배포합니다.

CloudFormation을 사용하여 인프라를 배포하려면 다음 명령을 실행합니다.

aws cloudformation deploy --template-file infra/hydra-sagemaker-setup.yaml --stack-name hydra-sagemaker-setup  --capabilities CAPABILITY_NAMED_IAM

샘플 데이터를 다운로드합니다.

openml에서 로컬 시스템으로 입력 데이터를 다운로드하려면 다음 명령을 실행합니다.

python scripts/download_data.py

빠른 테스트를 위해 로컬에서를 실행합니다.

테스트를 위해 로컬에서 훈련 코드를 실행하려면 다음 명령을 실행합니다.

python mypackage/train.py data.train_data_path=data/train.csv evaluation.base_dir_path=data

모든 실행의 로그는 실행 시간별로 라는 폴더에 저장됩니다outputs. 자세한 내용은 GitHub 리포지토리의 "출력" 섹션을 참조하세요.

--multirun 기능을 사용하여 다양한 파라미터로 여러 훈련을 병렬로 수행할 수도 있습니다. 자세한 내용은 Hydra 설명서를 참조하세요.

환경 변수를 설정합니다.

SageMaker AI에서 작업을 실행하려면 및 AWS 계정 ID를 제공하여 다음 환경 변수를 설정합니다 AWS 리전 .

export ECR_REPO_NAME=hydra-sm-artifact
export image_tag=latest
export AWS_REGION="<your_aws_region>" # for instance, us-east-1
export ACCOUNT_ID="<your_account_id>"
export BUCKET_NAME_DATA=hydra-sample-data-$ACCOUNT_ID
export BUCKET_NAME_CONFIG=hydra-sample-config-$ACCOUNT_ID
export AWS_DEFAULT_REGION=$AWS_REGION
export ROLE_ARN=arn:aws:iam::${ACCOUNT_ID}:role/hydra-sample-sagemaker
export INPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/input/
export OUTPUT_DATA_S3_PATH=s3://$BUCKET_NAME_DATA/hydra-on-sm/output/

Docker 이미지를 생성하고 푸시합니다.

Docker 이미지를 생성하여 Amazon ECR 리포지토리로 푸시하려면 다음 명령을 실행합니다.

chmod +x scripts/create_and_push_image.sh
scripts/create_and_push_image.sh $ECR_REPO_NAME $image_tag $AWS_REGION $ACCOUNT_ID

이 작업은 환경에 유효한 자격 증명이 있다고 가정합니다. Docker 이미지는 이전 작업의 환경 변수에 지정된 Amazon ECR 리포지토리로 푸시되며 훈련 작업이 실행될 SageMaker AI 컨테이너를 활성화하는 데 사용됩니다.

입력 데이터를 Amazon S3에 복사합니다.

SageMaker AI 훈련 작업은 입력 데이터를 선택해야 합니다. 데이터를 위해 입력 데이터를 Amazon S3 버킷에 복사하려면 다음 명령을 실행합니다.

aws s3 cp data/train.csv "${INPUT_DATA_S3_PATH}train.csv" 

SageMaker AI 훈련 작업을 제출합니다.

스크립트 실행을 간소화하려면 default.yaml 파일에서 기본 구성 파라미터를 지정합니다. 이 접근 방식은 실행 간 일관성을 보장하는 것 외에도 필요에 따라 기본 설정을 쉽게 재정의할 수 있는 유연성도 제공합니다. 다음 예를 참조하세요.

python scripts/start_sagemaker_training_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH

SageMaker AI 하이퍼파라미터 튜닝을 실행합니다.

SageMaker AI 하이퍼파라미터 튜닝 실행은 SageMaker AII 훈련 작업 제출과 유사합니다. 하지만 start_sagemaker_hpo_job.py 파일에서 볼 수 있듯이 실행 스크립트는 몇 가지 중요한 면에서 다릅니다. 튜닝할 하이퍼파라미터는 훈련 작업에 대한 채널이 아닌 boto3 페이로드를 통해 전달되어야 합니다.

하이퍼파라미터 최적화(HPO) 작업을 시작하려면 다음 명령을 실행합니다.

python scripts/start_sagemaker_hpo_job.py sagemaker.role_arn=$ROLE_ARN sagemaker.config_s3_bucket=$BUCKET_NAME_CONFIG sagemaker.input_data_s3_path=$INPUT_DATA_S3_PATH sagemaker.output_data_s3_path=$OUTPUT_DATA_S3_PATH