Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Exemples de bibliothèques de parallélisme de données Amazon SageMaker AI
Cette page fournit des blocs-notes Jupyter qui présentent des exemples de mise en œuvre de la bibliothèque de parallélisme de données distribué par l' SageMaker IA (SMDDP) pour exécuter des tâches de formation distribuées sur l'IA. SageMaker
## Blogs et études de cas
Les blogs suivants traitent d’études de cas sur l’utilisation de la bibliothèque SMDDP.
**Blogs SMDDP v2**
+ [Accélérez la formation grâce à la bibliothèque parallèle de données Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/enable-faster-training-with-amazon-sagemaker-data-parallel-library/), *AWS Machine Learning Blog* (5 décembre 2023)
**Blogs SMDDP v1**
+ [Comment j'ai entraîné 10 To pour une diffusion stable sur l' SageMaker IA](https://medium.com/@emilywebber/how-i-trained-10tb-for-stable-diffusion-on-sagemaker-39dcea49ce32) dans *Medium* (29 novembre 2022)
+ [Exécutez PyTorch Lightning et le PyTorch DDP natif sur Amazon SageMaker Training, avec Amazon Search](https://aws.amazon.com/blogs/machine-learning/run-pytorch-lightning-and-native-pytorch-ddp-on-amazon-sagemaker-training-featuring-amazon-search/), *AWS Machine Learning Blog* (18 août 2022)
+ [Formation YOLOv5 sur AWS l'utilisation PyTorch et la bibliothèque parallèle de données distribuées par l' SageMaker IA](https://medium.com/@sitecao/training-yolov5-on-aws-with-pytorch-and-sagemaker-distributed-data-parallel-library-a196ab01409b), *Medium* (6 mai 2022)
+ [Accélérez l'entraînement des EfficientNet modèles sur l' SageMaker SageMaker IA grâce PyTorch à la bibliothèque parallèle de données distribuées AI](https://medium.com/@dangmz/speed-up-efficientnet-model-training-on-amazon-sagemaker-with-pytorch-and-sagemaker-distributed-dae4b048c01a), *Medium* (21 mars 2022)
+ [Accélérez l' EfficientNet entraînement AWS grâce à la bibliothèque parallèle de données distribuées basée sur l' SageMaker IA](https://towardsdatascience.com/speed-up-efficientnet-training-on-aws-by-up-to-30-with-sagemaker-distributed-data-parallel-library-2dbf6d1e18e8), *Towards Data Science* (12 janvier 2022)
+ [Hyundai réduit le temps de formation des modèles ML pour les modèles de conduite autonome à l'aide d'Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/hyundai-reduces-training-time-for-autonomous-driving-models-using-amazon-sagemaker/), *AWS Machine Learning Blog* (25 juin 2021)
+ [Formation distribuée : apprenez à BART/T5 à la synthèse à l'aide de Transformers et d'Amazon AI, SageMaker le site](https://huggingface.co/blog/sagemaker-distributed-training-seq2seq) Web Hugging Face (*8 avril* 2021)
## Exemples de blocs-notes
Des carnets d'exemples sont fournis dans le [ GitHub référentiel d'exemples d'SageMaker IA](https://github.com/aws/amazon-sagemaker-examples/tree/master/training/distributed_training/). Pour les télécharger, exécutez la commande suivante afin de cloner le référentiel et d’accéder à `training/distributed_training/pytorch/data_parallel`.
**Note**
Clonez et exécutez les exemples de blocs-notes dans l' SageMaker AI ML IDEs suivant.
[SageMaker AI JupyterLab](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl.html) (disponible dans [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) créé après décembre 2023)
[SageMaker Éditeur de code AI](https://docs.aws.amazon.com/sagemaker/latest/dg/code-editor.html) (disponible dans [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) créé après décembre 2023)
[Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html) (disponible sous forme d’application dans [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html), créé après décembre 2023)
[SageMaker Instances d'ordinateurs portables](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)
```
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
```
**Exemples SMDDP v2**
+ [Entraînez Llama 2 à l'aide de la bibliothèque SageMaker AI Distributed Data Parallel Library (SMDDP) et DeepSpeed](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/deepspeed/llama2/smddp_deepspeed_example.ipynb)
+ [Entraînez Falçon à l'aide de la bibliothèque SageMaker AI Distributed Data Parallel Library (SMDDP) et du Fully Sharded Data PyTorch Parallelism (FSDP)](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/fully_sharded_data_parallel/falcon/smddp_fsdp_example.ipynb)
**Exemples SMDDP v1**
+ [CNN avec PyTorch et la bibliothèque de parallélisme de données SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/mnist/pytorch_smdataparallel_mnist_demo.ipynb)
+ [BERT avec PyTorch et la bibliothèque de parallélisme de données SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/bert/pytorch_smdataparallel_bert_demo.ipynb)
+ [CNN avec TensorFlow 2.3.1 et la bibliothèque de parallélisme de données SageMaker AI](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/mnist/tensorflow2_smdataparallel_mnist_demo.html)
+ [BERT avec TensorFlow 2.3.1 et la bibliothèque de parallélisme de données SageMaker AI](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/bert/tensorflow2_smdataparallel_bert_demo.html)
+ [HuggingFace Formation parallèle aux données distribuées PyTorch sur l' SageMaker IA - Réponses distribuées aux questions](https://github.com/huggingface/notebooks/blob/master/sagemaker/03_distributed_training_data_parallelism/sagemaker-notebook.ipynb)
+ [HuggingFace Formation parallèle aux données distribuées PyTorch sur l' SageMaker IA - Synthèse de texte distribuée](https://github.com/huggingface/notebooks/blob/master/sagemaker/08_distributed_summarization_bart_t5/sagemaker-notebook.ipynb)
+ [HuggingFace Formation parallèle aux données distribuées TensorFlow sur l' SageMaker IA](https://github.com/huggingface/notebooks/blob/master/sagemaker/07_tensorflow_distributed_training_data_parallelism/sagemaker-notebook.ipynb)