Amazon SageMaker AI 데이터 병렬화 라이브러리 예시

이 페이지에서는 SageMaker AI 분산 데이터 병렬화(SMDDP) 라이브러리를 구현하여 SageMaker AI에서 분산 훈련 작업을 실행하는 예시를 보여주는 Jupyter Notebook을 제공합니다.

블로그 및 사례 연구

다음 블로그에서는 SMDDP 라이브러리 사용에 대한 사례 연구를 설명합니다.

SMDDP v2 블로그

SMDDP v1 블로그

How I trained 10TB for Stable Diffusion on SageMaker AI(Medium에 게시, 2022년 11월 29일)
Amazon 검색 기능을 갖춘 Amazon SageMaker 훈련에서 PyTorch Lightning 및 네이티브 PyTorch DDP 실행하기(AWS Machine Learning Blog에 게시, 2022년 8월 18일)
Training YOLOv5 on AWS with PyTorch and the SageMaker AI distributed data parallel library(Medium에 게시, 2022년 5월 6일)
Speed up EfficientNet model training on SageMaker AI with PyTorch and the SageMaker AI distributed data parallel library(Medium에 게시, 2022년 3월 21일)
Speed up EfficientNet training on AWS with the SageMaker AI distributed data parallel library(Towards Data Science에 게시, 2022년 1월 12일)
Hyundai reduces ML model training time for autonomous driving models using Amazon SageMaker AI(AWS 기계 학습 블로그에 게시, 2021년 6월 25일)
Distributed Training: Train BART/T5 for Summarization using Transformers and Amazon SageMaker AI(Hugging Face 웹사이트에 게시, 2021년 4월 8일)

예시 노트북은 SageMaker AI 예시 GitHub 리포지토리에서 제공됩니다. 예제를 다운로드하려면 다음 명령을 실행하여 리포지토리를 복제하고 training/distributed_training/pytorch/data_parallel로 이동합니다.

다음 SageMaker AI ML IDE에서 예시 노트북을 복제하고 실행합니다.


git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

SMDDP v2 예제

SMDDP v1 예제

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

라이브러리로 자체 Docker 컨테이너 생성

구성 팁