本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# Amazon SageMaker AI 模型平行化程式庫 v1 範例
<a name="distributed-model-parallel-examples"></a>

此頁面提供部落格和 Jupyter 筆記本的清單，其中提供實作 SageMaker 模型平行化 (SMP) 程式庫 v1 以在 SageMaker AI 上執行分散式訓練任務的實際範例。

## 部落格與案例研究
<a name="distributed-model-parallel-examples-blog"></a>

下列部落格討論有關使用 SMP v1 的案例研究。
+ [Amazon SageMaker AI 模型平行化程式庫中的新效能改善](https://aws.amazon.com/blogs/machine-learning/new-performance-improvements-in-amazon-sagemaker-model-parallel-library/)，*AWS 機器學習部落格* (2022 年 12 月 16 日)
+ [在 Amazon SageMaker AI 上使用碎片資料平行化訓練具有近線性擴展的巨大模型](https://aws.amazon.com/blogs/machine-learning/train-gigantic-models-with-near-linear-scaling-using-sharded-data-parallelism-on-amazon-sagemaker/)，*AWS 機器學習部落格* (2022 年 10 月 31 日)

## 範例筆記本
<a name="distributed-model-parallel-examples-pytorch"></a>

範例筆記本在 [SageMaker AI 範例 GitHub 儲存庫](https://github.com/aws/amazon-sagemaker-examples/tree/master/training/distributed_training/)中提供。若要下載範例，請執行下列命令來複製儲存庫並前往 `training/distributed_training/pytorch/model_parallel`。

**注意**  
在下列 SageMaker AI ML IDE 中複製並執行範例筆記本。  
[SageMaker JupyterLab](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl.html) (可在 2023 年 12 月之後建立的 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) 中使用)
[SageMaker 程式碼編輯器](https://docs.aws.amazon.com/sagemaker/latest/dg/code-editor.html) (可在 2023 年 12 月之後建立的 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) 中使用)
[Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html) (作為在 2023 年 12 月之後建立的 [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) 中的應用程式提供)
[SageMaker 筆記本執行個體](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)

```
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/model_parallel
```

**PyTorch 的 SMP v1 範例筆記本**
+ [使用 SageMaker 模型平行處理程式庫中的碎片資料平行處理技術，以近線性擴展訓練 GPT-2](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt2/smp-train-gpt-sharded-data-parallel.ipynb)
+ [使用 SageMaker 模型平行處理程式庫中的碎片資料平行處理技術，以近線性擴展微調 GPT-2](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt2/smp-fine-tune-gpt-sharded-data-parallel.ipynb)
+ [使用 SageMaker 模型平行處理程式庫中的碎片資料平行處理技術，以近線性擴展訓練 GPT-NeoX-20B](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt-neox/smp-train-gpt-neox-sharded-data-parallel.ipynb)
+ [使用 SageMaker 模型平行程式庫中的碎片資料平行處理和張量平行處理技術來訓練 GPT-J 6B](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/gpt-j/smp-train-gptj-sharded-data-parallel-tp.ipynb)
+ [使用 SageMaker 模型平行處理程式庫中的碎片資料平行處理技術，以近線性擴展訓練 FLAN-T5](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/flan-t5/smp-train-t5-sharded-data-parallel.ipynb)
+ [使用 SageMaker 模型平行處理程式庫中的碎片資料平行處理技術，以近線性擴展訓練 Falcon](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel/falcon/smp-train-falcon-sharded-data-parallel.ipynb)

**TensorFlow 的 SMP v1 範例筆記本**
+ [使用 TensorFlow 2.3.1 的 CNN 與 SageMaker 模型平行處理程式庫](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/model_parallel/mnist/tensorflow_smmodelparallel_mnist.html)
+ [在 SageMaker AI 上使用 TensorFlow 的 HuggingFace 分散式模型平行化程式庫訓練](https://github.com/huggingface/notebooks/blob/master/sagemaker/04_distributed_training_model_parallelism/sagemaker-notebook.ipynb)