As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Exemplos da biblioteca de paralelismo de dados da Amazon SageMaker AI
Esta página fornece notebooks Jupyter que apresentam exemplos de implementação da biblioteca de paralelismo de dados distribuídos de SageMaker IA (SMDDP) para executar trabalhos de treinamento distribuídos em IA. SageMaker
## Blogs e estudos de caso
Os blogs a seguir discutem estudos de caso a respeito do uso da biblioteca SMDDP.
**Blogs do SMDDP v2**
+ [Permita um treinamento mais rápido com a biblioteca paralela de dados de SageMaker IA da Amazon](https://aws.amazon.com/blogs/machine-learning/enable-faster-training-with-amazon-sagemaker-data-parallel-library/), *Blog de AWS Machine Learning* (05 de dezembro de 2023)
**Blogs da SMDDP v1**
+ [Como treinei 10 TB para difusão estável em SageMaker IA no](https://medium.com/@emilywebber/how-i-trained-10tb-for-stable-diffusion-on-sagemaker-39dcea49ce32) *Medium* (29 de novembro de 2022)
+ [Execute o PyTorch Lightning e o PyTorch DDP nativo no Amazon SageMaker Training, com o Amazon Search](https://aws.amazon.com/blogs/machine-learning/run-pytorch-lightning-and-native-pytorch-ddp-on-amazon-sagemaker-training-featuring-amazon-search/), *AWS Machine Learning Blog* (18 de agosto de 2022)
+ [Treinamento YOLOv5 em AWS with PyTorch and the SageMaker AI Distributed Data Parallel Library](https://medium.com/@sitecao/training-yolov5-on-aws-with-pytorch-and-sagemaker-distributed-data-parallel-library-a196ab01409b), *Medium* (6 de maio de 2022)
+ [Acelere o treinamento de EfficientNet modelos em SageMaker IA com PyTorch a biblioteca paralela de dados distribuídos de SageMaker IA](https://medium.com/@dangmz/speed-up-efficientnet-model-training-on-amazon-sagemaker-with-pytorch-and-sagemaker-distributed-dae4b048c01a), *Medium* (21 de março de 2022)
+ [Acelere o EfficientNet treinamento AWS com a biblioteca paralela de dados distribuídos de SageMaker IA](https://towardsdatascience.com/speed-up-efficientnet-training-on-aws-by-up-to-30-with-sagemaker-distributed-data-parallel-library-2dbf6d1e18e8), *Towards Data Science* (12 de janeiro de 2022)
+ [Hyundai reduz o tempo de treinamento de modelos de ML para modelos de direção autônoma usando Amazon SageMaker AI](https://aws.amazon.com/blogs/machine-learning/hyundai-reduces-training-time-for-autonomous-driving-models-using-amazon-sagemaker/), *AWS Machine Learning Blog* (25 de junho de 2021)
+ [Treinamento distribuído: Treine o BART/T5 para resumir usando Transformers e Amazon AI, SageMaker o site](https://huggingface.co/blog/sagemaker-distributed-training-seq2seq) Hugging Face (8 de abril de *2021*)
## Cadernos de exemplo
Os notebooks de exemplo são fornecidos no [ GitHub repositório de exemplos de SageMaker IA](https://github.com/aws/amazon-sagemaker-examples/tree/master/training/distributed_training/). Para baixar os exemplos, execute o seguinte comando para clonar o repositório e acesse `training/distributed_training/pytorch/data_parallel`:
**nota**
Clone e execute os notebooks de exemplo no SageMaker AI ML a seguir. IDEs
[SageMaker AI JupyterLab](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl.html) (disponível no [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) criado após dezembro de 2023)
[SageMaker Editor de código AI](https://docs.aws.amazon.com/sagemaker/latest/dg/code-editor.html) (disponível no [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) criado após dezembro de 2023)
[Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html) (disponível como uma aplicação no [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) e criado após dezembro de 2023)
[SageMaker Instâncias de notebook](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)
```
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
```
**Exemplos de SMDDP v2**
+ [Treine o Llama 2 usando a biblioteca paralela de dados distribuídos de SageMaker IA (SMDDP) e DeepSpeed](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/deepspeed/llama2/smddp_deepspeed_example.ipynb)
+ [Treine o Falcon usando a biblioteca paralela de dados distribuídos de SageMaker IA (SMDDP) e o paralelismo de dados PyTorch totalmente fragmentado (FSDP)](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/fully_sharded_data_parallel/falcon/smddp_fsdp_example.ipynb)
**Exemplos da SMDDP v1**
+ [CNN com PyTorch e a biblioteca de SageMaker paralelismo de dados de IA](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/mnist/pytorch_smdataparallel_mnist_demo.ipynb)
+ [BERT com PyTorch e a biblioteca de SageMaker paralelismo de dados de IA](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/bert/pytorch_smdataparallel_bert_demo.ipynb)
+ [CNN com TensorFlow 2.3.1 e a biblioteca de paralelismo de dados SageMaker AI](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/mnist/tensorflow2_smdataparallel_mnist_demo.html)
+ [BERT com TensorFlow 2.3.1 e a biblioteca de SageMaker paralelismo de dados AI](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/bert/tensorflow2_smdataparallel_bert_demo.html)
+ [HuggingFace Treinamento paralelo de dados distribuídos PyTorch em SageMaker IA - Resposta distribuída a perguntas](https://github.com/huggingface/notebooks/blob/master/sagemaker/03_distributed_training_data_parallelism/sagemaker-notebook.ipynb)
+ [HuggingFace Treinamento paralelo de dados distribuídos PyTorch em SageMaker IA - resumo de texto distribuído](https://github.com/huggingface/notebooks/blob/master/sagemaker/08_distributed_summarization_bart_t5/sagemaker-notebook.ipynb)
+ [HuggingFace Treinamento paralelo de dados distribuídos TensorFlow em SageMaker IA](https://github.com/huggingface/notebooks/blob/master/sagemaker/07_tensorflow_distributed_training_data_parallelism/sagemaker-notebook.ipynb)