기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon SageMaker AI 모델 병렬화 라이브러리 v1 예시
이 페이지에서는 SageMaker 모델 병렬화(SMP) 라이브러리 v1을 구현하여 SageMaker AI에서 분산 훈련 작업을 실행하는 실제 예시를 보여주는 블로그 및 Jupyter Notebook 목록을 제공합니다.
블로그 및 사례 연구
다음 블로그에서는 SMP v1 사용에 대한 사례 연구를 설명합니다.
-
New performance improvements in the Amazon SageMaker AI model parallelism library
(AWS 기계 학습 블로그, 2022년 12월 16일) -
Train gigantic models with near-linear scaling using sharded data parallelism on Amazon SageMaker AI
(AWS 기계 학습 블로그, 2022년 10월 31일)
예제 노트북
예시 노트북은 SageMaker AI 예시 GitHub 리포지토리training/distributed_training/pytorch/model_parallel로 이동합니다.
참고
다음 SageMaker AI ML IDE에서 예시 노트북을 복제하고 실행합니다.
-
SageMaker JupyterLab(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
SageMaker 코드 편집기(2023년 12월 이후에 생성된 Studio에서 사용 가능)
-
Studio Classic(2023년 12월 이후에 생성된 Studio에서 애플리케이션으로 사용 가능)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
PyTorch용 SMP v1 예제 노트북
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 미세 튜닝하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-NeoX-20B 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 및 텐서 병렬화 기법을 사용하여 GPT-J 6B 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 FLAN-T5 훈련하기
-
SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 Falcon 훈련하기
TensorFlow용 SMP v1 예제 노트북
