翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker AI データ並列処理ライブラリの例
このページでは、SageMaker AI 分散データ並列処理 (SMDDP) ライブラリを実装して、SageMaker AI で分散トレーニングジョブを実行する例を示す Jupyter Notebook を紹介します。
ブログと導入事例
以下のブログでは、SMDDP ライブラリの導入事例について説明しています。
SMDDP v2 ブログ
-
Enable faster training with Amazon SageMaker AI data parallel library
, AWS Machine Learning Blog (2023 年 12 月 5 日)
SMDDP v1 ブログ
-
How I trained 10TB for Stable Diffusion on SageMaker AI
、Medium (2022 年 11 月 29 日) -
Run PyTorch Lightning and native PyTorch DDP on Amazon SageMaker Training, featuring Amazon Search
、AWS Machine Learning ブログ (2022 年 8 月 18 日) -
Training YOLOv5 on AWS with PyTorch and the SageMaker AI distributed data parallel library
、Medium (2022 年 5 月 6 日) -
Speed up EfficientNet model training on SageMaker AI with PyTorch and the SageMaker AI distributed data parallel library
、Medium (2022 年 3 月 21 日) -
Speed up EfficientNet training on AWS with the SageMaker AI distributed data parallel library
、Towards Data Science (2022 年 1 月 12 日) -
Hyundai reduces ML model training time for autonomous driving models using Amazon SageMaker AI
、AWS Machine Learning ブログ (2021 年 6 月 25 日) -
Distributed Training: Train BART/T5 for Summarization using Transformers and Amazon SageMaker AI
、Hugging Face ウェブサイト (2021 年 4 月 8 日)
サンプルノートブックの例
サンプルノートブックは、SageMaker AI サンプル GitHub リポジトリtraining/distributed_training/pytorch/data_parallel に移動してください。
注記
次の SageMaker AI ML IDE でサンプルノートブックをクローンし、実行してください。
-
SageMaker AI JupyterLab (2023 年 12 月以降に作成された Studio で利用可能)
-
SageMaker AI Code Editor (2023 年 12 月以降に作成された Studio で利用可能)
-
Studio Classic (2023 年 12 月以降に作成された Studio でアプリケーションとして利用可能)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDP v2 のサンプル
SMDDP v1 のサンプル
