기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# Amazon SageMaker AI 모델 병렬화 라이브러리 v1 예시
<a name="distributed-model-parallel-examples"></a>

이 페이지에서는 SageMaker 모델 병렬화(SMP) 라이브러리 v1을 구현하여 SageMaker AI에서 분산 훈련 작업을 실행하는 실제 예시를 보여주는 블로그 및 Jupyter Notebook 목록을 제공합니다.

## 블로그 및 사례 연구
<a name="distributed-model-parallel-examples-blog"></a>

다음 블로그에서는 SMP v1 사용에 대한 사례 연구를 설명합니다.
+ [New performance improvements in the Amazon SageMaker AI model parallelism library](https://aws.amazon.com/blogs/machine-learning/new-performance-improvements-in-amazon-sagemaker-model-parallel-library/)(*AWS 기계 학습 블로그*, 2022년 12월 16일)
+ [Train gigantic models with near-linear scaling using sharded data parallelism on Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/train-gigantic-models-with-near-linear-scaling-using-sharded-data-parallelism-on-amazon-sagemaker/)(*AWS 기계 학습 블로그*, 2022년 10월 31일)

## 예제 노트북
<a name="distributed-model-parallel-examples-pytorch"></a>

예시 노트북은 [SageMaker AI 예시 GitHub 리포지토리](https://github.com/aws/amazon-sagemaker-examples/tree/master/training/distributed_training/)에서 제공됩니다. 예제를 다운로드하려면 다음 명령을 실행하여 리포지토리를 복제하고 `training/distributed_training/pytorch/model_parallel`로 이동합니다.

**참고**  
다음 SageMaker AI ML IDE에서 예시 노트북을 복제하고 실행합니다.  
[SageMaker JupyterLab](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl.html)(2023년 12월 이후에 생성된 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html)에서 사용 가능)
[SageMaker 코드 편집기](https://docs.aws.amazon.com/sagemaker/latest/dg/code-editor.html)(2023년 12월 이후에 생성된 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html)에서 사용 가능)
[Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html)(2023년 12월 이후에 생성된 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html)에서 애플리케이션으로 사용 가능)
[SageMaker Notebook 인스턴스](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)

```
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
```

**PyTorch용 SMP v1 예제 노트북**
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 훈련하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt2/smp-train-gpt-sharded-data-parallel.ipynb)
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-2 미세 튜닝하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt2/smp-fine-tune-gpt-sharded-data-parallel.ipynb)
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 GPT-NeoX-20B 훈련하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt-neox/smp-train-gpt-neox-sharded-data-parallel.ipynb)
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 및 텐서 병렬화 기법을 사용하여 GPT-J 6B 훈련하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt-j/smp-train-gptj-sharded-data-parallel-tp.ipynb)
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 FLAN-T5 훈련하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/flan-t5/smp-train-t5-sharded-data-parallel.ipynb)
+ [SageMaker 모델 병렬화 라이브러리의 샤딩된 데이터 병렬화 기법을 사용하여 거의 선형에 가까운 스케일링으로 Falcon 훈련하기](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/falcon/smp-train-falcon-sharded-data-parallel.ipynb)

**TensorFlow용 SMP v1 예제 노트북**
+ [TensorFlow 2.3.1 및 SageMaker 모델 병렬화 라이브러리를 사용한 CNN](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/model_parallel/mnist/tensorflow_smmodelparallel_mnist.html)
+ [SageMaker AI 기반 TensorFlow 분산형 모델 병렬화 라이이브러리를 사용한 HuggingFace](https://github.com/huggingface/notebooks/blob/master/sagemaker/04_distributed_training_model_parallelism/sagemaker-notebook.ipynb)