As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
SageMaker Notas de lançamento da biblioteca de paralelismo de dados de IA
Consulte as notas de lançamento a seguir para acompanhar as atualizações mais recentes da biblioteca de paralelismo de dados distribuídos por SageMaker IA (SMDDP).
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.5.0
Data: 17 de outubro de 2024
Novos recursos
-
Adicionado suporte para PyTorch v2.4.1 com CUDA v12.1.
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.6.0.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.3.0
Data: 11 de junho de 2024
Novos recursos
-
Foi adicionado suporte para PyTorch v2.3.0 com CUDA v12.1 e Python v3.11.
-
Foi adicionado suporte para o PyTorch Lightning v2.2.5. Isso é integrado ao contêiner da estrutura de SageMaker IA para PyTorch v2.3.0.
-
Adicionada a validação do tipo de instância durante a importação para evitar o carregamento da biblioteca SMDDP em tipos de instância não compatíveis. Para obter uma lista de tipos de instância compatíveis com a biblioteca SMDDP, consulte Estruturas suportadas, Regiões da AWS e tipos de instâncias.
Integração com contêineres de estrutura de SageMaker IA
Essa versão da biblioteca SMDDP foi migrada para o seguinte contêiner do SageMaker AI Framework.
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Para obter uma lista completa das versões da biblioteca SMDDP e dos contêineres pré-criados, consulte Estruturas suportadas, Regiões da AWS e tipos de instâncias.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Outras alterações
-
A biblioteca SMDDP v2.2.0 está integrada ao contêiner da estrutura de SageMaker IA para v2.2.0. PyTorch
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.2.0
Data: 4 de março de 2024
Novos recursos
-
Adicionado suporte para PyTorch v2.2.0 com CUDA v12.1.
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.2.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.1.0
Data: 1.º de março de 2024
Novos recursos
-
Adicionado suporte para PyTorch v2.1.0 com CUDA v12.1.
Correções de bugs
-
Corrigido o problema de vazamento de memória da CPU em SMDDP v2.0.1.
Integração com contêineres de estrutura de SageMaker IA
Essa versão da biblioteca SMDDP passou no teste de benchmark e foi migrada para o seguinte SageMaker contêiner do AI Framework.
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integração em contêineres Docker distribuídos pela biblioteca de paralelismo de modelos de SageMaker IA (SMP)
Essa versão da biblioteca SMDDP foi migrada para A biblioteca de paralelismo de SageMaker modelos v2.1.0.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Para regiões em que as imagens do Docker SMP estão disponíveis, consulte Regiões da AWS.
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
A biblioteca de paralelismo de dados distribuídos de SageMaker IA v2.0.1
Data: 7 de dezembro de 2023
Novos recursos
-
Foi adicionada uma nova SMDDP-implementation operação
AllGathercoletiva otimizada para recursos de AWS computação e infraestrutura de rede. Para saber mais, consulte Operação coletiva do SMDDP AllGather. -
A operação
AllGathercoletiva SMDDP é compatível com PyTorch FSDP e. DeepSpeed Para saber mais, consulte Use a biblioteca SMDDP em seu script de treinamento PyTorch. -
Adicionado suporte para PyTorch v2.0.1
Problemas conhecidos
-
Há um problema de vazamento de memória da CPU devido ao aumento gradual da memória da CPU durante o treinamento com SMDDP
AllReduceno modo DDP.
Integração com contêineres de estrutura de SageMaker IA
Essa versão da biblioteca SMDDP passou no teste de benchmark e foi migrada para o seguinte SageMaker contêiner do AI Framework.
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Arquivo binário desta versão
Baixe ou instale a biblioteca usando a seguinte URL:
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Outras alterações
-
A partir desta versão, a documentação da biblioteca SMDDP está totalmente disponível neste Guia do desenvolvedor de SageMaker IA da Amazon. Em favor do guia completo do desenvolvedor para SMDDP v2 incluído no Guia do desenvolvedor de SageMaker IA da Amazon, a documentação para a referência adicional para SMDDP v1.x
na documentação do SDK do SageMaker AI Python não é mais suportada. Se você ainda precisar da documentação do SMP v1.x, veja o seguinte resumo da documentação na documentação do SDK do SageMaker Python v2.212.0.
