As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Notas de lançamento da biblioteca de paralelismo de dados distribuídos do SageMaker AI
Veja as notas de lançamento a seguir para acompanhar as atualizações mais recentes da biblioteca de paralelismo de dados distribuídos do SageMaker AI (SMDDP).
Biblioteca de paralelismo de dados distribuídos do SageMaker AI v2.5.0
Data: 17 de outubro de 2024
Novos recursos
-
Foi adicionada compatibilidade com PyTorch v2.4.1 com CUDA v12.1.
Integração em contêineres do Docker distribuídos pela biblioteca de paralelismo de modelos (SMP) do SageMaker AI
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de modelos do SageMaker v2.6.0.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl
Biblioteca de paralelismo de dados distribuídos do SageMaker AI v2.3.0
Data: 11 de junho de 2024
Novos recursos
-
Foi adicionada compatibilidade com PyTorch v2.3.0 com CUDA v12.1 e Python v3.11.
-
Foi adicionada compatibilidade com o PyTorch Lightining v2.2.5. Ele está integrado no contêiner de framework do SageMaker AI para PyTorch v2.3.0.
-
Adicionada a validação do tipo de instância durante a importação para evitar o carregamento da biblioteca SMDDP em tipos de instância não compatíveis. Para obter uma lista de tipos de instância compatíveis com a biblioteca SMDDP, consulte Frameworks, Regiões da AWS e tipos de instâncias compatíveis.
Integração com contêineres de framework do SageMaker AI
Essa versão da biblioteca de SMDDP foi migrada para o contêiner de framework do SageMaker AI
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obter uma lista completa das versões da biblioteca SMDDP e dos contêineres pré-criados, consulte Frameworks, Regiões da AWS e tipos de instâncias compatíveis.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Outras alterações
-
A biblioteca de SMDDP v2.2.0 está integrada ao contêiner de framework do SageMaker AI para PyTorch v2.2.0.
Biblioteca de paralelismo de dados distribuídos do SageMaker AI v2.2.0
Data: 4 de março de 2024
Novos recursos
-
Foi adicionada compatibilidade com PyTorch v2.2.0 com CUDA v12.1.
Integração em contêineres do Docker distribuídos pela biblioteca de paralelismo de modelos (SMP) do SageMaker AI
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de modelos do SageMaker v2.2.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
Biblioteca de paralelismo de dados distribuídos do SageMaker AI v2.1.0
Data: 1.º de março de 2024
Novos recursos
-
Foi adicionada compatibilidade com PyTorch v2.1.0 com CUDA v12.1.
Correções de bugs
-
Corrigido o problema de vazamento de memória da CPU em SMDDP v2.0.1.
Integração com contêineres de framework do SageMaker AI
Essa versão da biblioteca de SMDDP foi aprovada no teste comparativo e foi migrada para o contêiner de framework do SageMaker AI
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integração em contêineres do Docker distribuídos pela biblioteca de paralelismo de modelos (SMP) do SageMaker AI
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de modelos do SageMaker v2.1.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
Biblioteca de paralelismo de dados distribuídos do SageMaker AI v2.0.1
Data: 7 de dezembro de 2023
Novos recursos
-
Adicionada uma nova implementação SMDDP da operação coletiva
AllGatherotimizada para recursos computacionais da AWS e infraestrutura de rede. Para saber mais, consulte Operação coletiva do SMDDP AllGather. -
A operação coletiva SMDDP
AllGatheré compatível com PyTorch FSDP e DeepSpeed. Para saber mais, consulte Use a biblioteca SMDDP em seu script de treinamento do PyTorch. -
Foi adicionada compatibilidade com PyTorch v2.0.1
Problemas conhecidos
-
Há um problema de vazamento de memória da CPU devido ao aumento gradual da memória da CPU durante o treinamento com SMDDP
AllReduceno modo DDP.
Integração com contêineres de framework do SageMaker AI
Essa versão da biblioteca de SMDDP foi aprovada no teste comparativo e foi migrada para o contêiner de framework do SageMaker AI
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Outras alterações
-
A partir dessa versão, a documentação da biblioteca de SMDDP está totalmente disponível no Guia do desenvolvedor do Amazon SageMaker AI. Em favor do guia completo do desenvolvedor para a SMDDP v2 incluído no Guia do desenvolvedor do Amazon SageMaker AI, a documentação para referência adicional da SMDDP v1.x
na documentação do SageMaker AI Python SDK não está mais disponível. Se você ainda precisar da documentação da SMP v1:x, veja o seguinte snapshot da documentação na documentação do SageMaker Python SDK v2:212:0 :
