Notas de lançamento da biblioteca de SageMaker paralelismo de modelos

Agora, o recorte de norma de gradiente da SMP permite descarregamento de ativação.

Suporte adicionado para PyTorch v2.5.1

Suporte ao CUDA atualizado para v12.4.

Suporte à NCCL atualizado para v2.23.4.

Biblioteca SMDDP atualizada para 2.6.0.

Contêiner SMP Docker para PyTorch v2.5.1 com CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

Contêiner SMP Enroot para PyTorch v2.5.1 com CUDA v12.4

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

O suporte adicionado para SageMaker HyperPod receitas.

Contêiner SMP Docker para PyTorch v2.4.1 com CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Contêiner SMP Enroot para PyTorch v2.4.1 com CUDA v12.1

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Corrigido o problema ImportError que ocorria ao usar scripts de treinamento mais antigos com a SMP v2.6.0. Isso corrige a incompatibilidade de versões anteriores com a SMP v2.6.0.

Foi adicionado um DeprecationWarning para torch.sagemaker.distributed.fsdp.checkpoint. Este módulo será descontinuado e removido da SMP v2.7.0. Se você estiver usando torch.sagemaker.distributed.fsdp.checkpoint em seu código, planeje atualizar os scripts antes do lançamento da SMP v2.7.0 para evitar problemas no futuro.

Correção de um problema de compatibilidade com versões anteriores identificado na SMP v2.6.0. Esse problema estava relacionado à descontinuação do método de ponto de verificação USE_PG_WITH_UTIL na SMP v2.6.0, que interrompeu a compatibilidade com versões anteriores dos scripts de treinamento. Para resolver esse problema, execute novamente seus trabalhos de PyTorch treinamento para obter o contêiner SMP mais recente fornecido com o SMP v2.6.1.

Contêiner SMP Docker para PyTorch v2.4.1 com CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Foi adicionada compatibilidade com as seguintes configurações do modelo de LLM: Você pode começar a usar Paralelismo de contexto e Paralelismo de tensores.

Foi adicionada compatibilidade com Paralelismo de tensores para as seguintes configurações do modelo Mixtral:

Foi adicionado suporte para uma implementação de paralelismo de AllGather-based contexto que utiliza o coletivo de AllGather comunicação para obter a sequência completa de tensores de chave e valor. As implementações disponíveis são p2p e all_gather. A implementação de p2p utiliza chamadas de envio e recebimento ponto a ponto para acúmulo de tensores de chave e valor (KV) durante o cálculo da atenção, funcionando de forma assíncrona e permitindo que a comunicação se sobreponha à computação. Por outro lado, a implementação de all_gather utiliza a operação coletiva de comunicação AllGather para o acúmulo de tensores de KV. Para saber como aplicar essa implementação de paralelismo de contexto, consulte Paralelismo de contexto.

Foi adicionada compatibilidade com ajustar o valor teta das incorporações de posições rotativas (RoPE).

Correção de um erro em que as incorporações de posições rotativas (RoPE) não eram inicializadas corretamente durante o pré-treinamento, quando o parâmetro atrasado estava ativado.

Atualmente, o Transformer Engine não comporta o paralelismo de contexto nem o FP8 com a atenção da janela deslizante ativada. Portanto, a versão do SMP dos transformadores Mistral não comporta o paralelismo de contexto nem o treinamento de FP8 quando a configuração da janela deslizante é definida como um valor não nulo.

Atualizado para PyTorch v2.4.1

Atualização do Megatron para v0.8.0

Atualizou a TransformerEngine biblioteca para v1.10

Atualização do Transformers para v4.44.2

Atualização do cuDNN para v9.4.0.58

Contêiner SMP Docker para PyTorch v2.4.1 com CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Foi adicionada compatibilidade com treinamento de precisão mista com uso do formato de dados FP8 em instâncias P5 para o modelo Mixtral.

Foi adicionada compatibilidade com Paralelismo de contexto às seguintes configurações do modelo:

Foi adicionada compatibilidade com salvar pontos de verificação de forma assíncrona. Para saber mais, consulte Ponto de verificação com uso do SMP.

Resolveu um problema que causava uma grande perda inicial inesperadamente durante o ajuste do Llama ao carregar um ponto de verificação de modelo pré-treinado e utilizar o paralelismo de tensores.

Para usar o ponto de verificação de ativação do Mixtral com precisão mista FP8, você precisará verificar as camadas de atenção e especializada separadamente. Para ver um exemplo de como configurá-lo corretamente, consulte o exemplo de script de treinamento no repositório Amazon SageMaker AI Examples.

O tipo de balanceador de carga equilibrado na configuração MoE (torch.sagemaker.moe.moe_config.MOECONFIG) atualmente é incompatível com o ponto de verificação de ativação.

Com o paralelismo de contexto, GPT-NeoX mostra a regressão de desempenho tanto no pré-treinamento quanto no ajuste fino.

Para GPT-NeoX instâncias P4, carregar diretamente pesos de um modelo transformado inicializado com parâmetros atrasados em um modelo de transformador Hugging Face leva a uma incompatibilidade de perdas na primeira etapa.

Atualizou a FlashAttention biblioteca para v2.5.8

Atualização da biblioteca Transformer Engine para v1.8

Contêiner SMP Docker para PyTorch v2.3.1 com CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Para obter uma lista completa das regiões compatíveis, consulte Regiões da AWS.

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Correção de um erro que causa formas de logit incorretas quando os rótulos não são passados na passagem para frente ao usar o transformador de SMP.

Foi adicionado suporte para PyTorch v2.3.1.

Foi adicionada compatibilidade com Python v3.11.

Foi adicionada compatibilidade com a biblioteca Hugging Face Transformers v4.40.1.

Encerramento da compatibilidade com Python v3.10.

Encerramento de compatibilidade com as versões da biblioteca Hugging Face Transformers anteriores à v4.40.1.

Inclusão de um patch para ativar o salvamento a eliminação de tensores duplicados em diferentes níveis. Para saber mais, consulte o tópico de discussão no PyTorch GitHub repositório.

Há um problema conhecido de que a perda pode aumentar e, em seguida, continuar com um valor de perda mais alto enquanto ajusta Llama-3 70B com paralelismo de tensores.

Atualização da biblioteca SMDDP para v2.3.0.

Atualização da biblioteca NCCL para v2.21.5.

Atualização do software EFA para v1.32.0.

Encerramento da instalação da biblioteca Torch Distributed Experimental (torchdistX).

Contêiner SMP Docker para PyTorch v2.3.1 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Pre-installed pacotes

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Correção de um problema ImportError ao usar moe_load_balancing=balanced no torch.sagemaker.moe.moe_config.MOECONFIG para paralelismo especializado.

Correção de um problema de ajuste em que a chamada torch.sagemaker.transform gerava KeyError quando o load_state_dict_from_rank0 estava habilitado.

Correção para ajuste de um erro de falta de memória (OOM) gerado ao carregar grandes modelos Mixture of Experts (MoE), como o Mixtral 8x22B.

Contêiner SMP Docker para PyTorch v2.2.0 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionado um novo atributo principal, o paralelismo especializado, para ser compatível com os modelos tipo transformador Mixture of Experts. Para saber mais, consulte Paralelismo especializado.

Contêiner SMP Docker para PyTorch v2.2.0 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionada compatibilidade com treinamento de FP8 dos seguintes modelos tipo transformador Hugging Face em instâncias P5 com integração ao Transformer Engine:

Correção de um bug em que não era garantido que os tensores fossem contíguos antes da chamada coletiva AllGather, durante o treinamento de paralelismo de tensores.

Foi adicionado suporte para PyTorch v2.2.0.

Atualização da biblioteca SMDDP para v2.2.0.

Atualizou a FlashAttention biblioteca para a v2.3.3.

Atualização da biblioteca NCCL para v2.19.4.

Encerramento de compatibilidade com as versões do Transformer Engine anteriores à v1.2.0.

Atualmente, o atributo Ativação e descarregamento do SMP não funciona. Em vez disso, use o descarregamento de PyTorch ativação nativo.

Incluiu um patch para corrigir a regressão de desempenho discutida no tópico do problema https://github.com/pytorch/pytorch/issues/117748no PyTorch GitHub repositório.

Contêiner SMP Docker para PyTorch v2.2.0 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Foi adicionado suporte para PyTorch v2.1.2.

Encerramento de compatibilidade com o Hugging Face Transformers v4.31.0.

Foi descoberto um problema: o ajuste do modelo Hugging Face Llama 2 com attn_implementation=flash_attention_2, e o FSDP causa divergência no modelo. Para referência, consulte o tíquete de edição no repositório Hugging Face Transformers. GitHub Para evitar o problema de divergência, use attn_implementation=sdpa. Você também pode usar a implementação do modelo tipo transformador do SMP, ao configurar use_smp_implementation=True.

Contêiner SMP Docker para PyTorch v2.1.2 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Um novo pacote torch.sagemaker, totalmente renovado em relação ao pacote smdistributed.modelparallel.torch anterior do SMP v1.x.

Support para PyTorch 2.0.1.

Support para PyTorch FSDP.

Implementação do paralelismo de tensores por meio da integração com a biblioteca do Transformer Engine.

Support para SageMaker treinamento SageMaker HyperPode.

O SMP v2 reformulou totalmente as APIs e fornece o pacote torch.sagemaker. Na maioria das vezes, é necessário apenas inicializar com o módulo torch.sagemaker.init() e passar os parâmetros de configuração do paralelismo de modelos. Com esse novo pacote, você pode simplificar bastante as modificações de código no script de treinamento. Para saber mais sobre como adaptar seu script de treinamento para usar o SMP v2, consulte Use a biblioteca de paralelismo de SageMaker modelos v2.

Se você já usou o SMP v1 para treinar modelos do Hugging Face Transformer e deseja reutilizar os modelos no SMP v2, consulte Atualização do SMP v1 para o SMP v2.

Para treinamento em PyTorch FSDP, você deve usar o SMP v2.

Atualmente, o ponto de verificação de ativação só funciona com as seguintes políticas de empacotamento com o FSDP:

Para usar Ativação e descarregamento, o tipo de ponto de verificação de ativação do FSDP deve ser REENTRANT.

Ao executar com uso do paralelismo de tensores habilitado com o grau de paralelismo de dados fragmentados definido como 1, você deve usar backend = nccl. A opção de backend smddp não é aceita nesse caso.

É necessário usar o Transformer Engine PyTorch com a biblioteca SMP mesmo quando não está usando o paralelismo de tensores.

A partir desta versão, a documentação da biblioteca de paralelismo de SageMaker modelos está totalmente disponível neste Amazon SageMaker AI Developer Guide. Em favor deste guia completo do desenvolvedor para SMP v2 no Amazon SageMaker AI Developer Guide, a referência adicional para SMP v1.x na documentação do SDK do SageMaker Python está obsoleta. Se você ainda precisar da documentação do SMP v1.x, o guia do desenvolvedor do SMP v1.x está disponível em, Biblioteca de paralelismo de SageMaker modelos (arquivada) v1.x e a referência da biblioteca SMP Python v1.x está disponível na documentação do SDK do Python v2.199.0. SageMaker

Suporte descontinuado para TensorFlow.

Não há compatibilidade com paralelismo de pipeline no SMP v2.

Não há suporte para a DeepSpeed biblioteca em favor do PyTorch FSDP nativo.

Contêiner SMP Docker para PyTorch v2.0.1 com CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121