Blogs e estudos de caso Cadernos de exemplo

Exemplos de biblioteca de paralelismo de dados do Amazon SageMaker AI

Esta página fornece cadernos Jupyter que apresentam exemplos de implementação da biblioteca de paralelismo de dados distribuídos do SageMaker AI (SMDDP) para executar tarefas de treinamento distribuído no SageMaker AI.

Blogs e estudos de caso

Os blogs a seguir discutem estudos de caso a respeito do uso da biblioteca SMDDP.

Blogs do SMDDP v2

Enable faster training with Amazon SageMaker AI data parallel library, Blog de Machine Learning da AWS, 5 de dezembro de 2023.

Blogs da SMDDP v1

How I trained 10TB for Stable Diffusion on SageMaker AI, Medium, 29 de novembro de 2022.
Run PyTorch Lightning and native PyTorch DDP on Amazon SageMaker Training, featuring Amazon Search , Blog de Machine Learning da AWS, 18 de agosto de 2022.
Training YOLOv5 on AWS with PyTorch and the SageMaker AI distributed data parallel library, Medium, 6 de maio de 2022.
Speed up EfficientNet model training on SageMaker AI with PyTorch and the SageMaker AI distributed data parallel library, Medium, 21 de março de 2022.
Speed up EfficientNet training on AWS with the SageMaker AI distributed data parallel library, Towards Data Science, 12 de janeiro de 2022.
Hyundai reduces ML model training time for autonomous driving models using Amazon SageMaker AI, Blog de Machine Learning da AWS, 25 de junho de 2021.
Distributed Training: Train BART/T5 for Summarization using Transformers and Amazon SageMaker AI, site da Hugging Face, 8 de abril de 2021.

Cadernos de exemplo

Esses cadernos de exemplo são fornecidos no repositório do GitHub de exemplos do SageMaker AI. Para baixar os exemplos, execute o seguinte comando para clonar o repositório e acesse training/distributed_training/pytorch/data_parallel:

nota

Clone e execute os cadernos de exemplo nos seguintes ambientes de desenvolvimento integrado (IDEs) de ML do SageMaker AI:

SageMaker JupyterLab (disponível no Studio e criado após dezembro de 2023)
Editor de Código do SageMaker AI (disponível no Studio e criado após dezembro de 2023)
Studio Classic (disponível como uma aplicação no Studio e criado após dezembro de 2023)
Instâncias de caderno do SageMaker


git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel

Exemplos de SMDDP v2

Exemplos da SMDDP v1

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Crie seus próprios contêineres do Docker com a biblioteca

Dicas de configuração