Notas da Versão do Amazon SageMaker Training Compiler

Atualizações de moeda

• Adicionada compatibilidade com PyTorch v1.13.1

Correções de bugs

• Corrigido um problema de condição de corrida na GPU que estava causando perda de NAN em alguns modelos, como os modelos de transformador de visão (ViT).

Outras alterações:

• O SageMaker Training Compiler melhora o desempenho ao permitir que o PyTorch/XLA substitua automaticamente os otimizadores (como SGD, Adam, AdamW) em torch.optim ou transformers.optimization com suas versões sem sincronização em torch_xla.amp.syncfree (como torch_xla.amp.syncfree.SGD, torch_xla.amp.syncfree.Adam, torch_xla.amp.syncfree.AdamW). Você não precisa alterar as linhas de código nas quais define otimizadores em seu script de treinamento.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• PyTorch v1.13.1

  763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-trcomp-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

• tf.keras.optimizers.Optimizer aponta para um novo otimizador no TensorFlow 2.11.0 e posteriores. Os otimizadores antigos foram movidos para tf.keras.optimizers.legacy. Você pode encontrar uma falha no trabalho devido à alteração significativa ao fazer o seguinte:

  • Carregar pontos de verificação de um otimizador antigo. Recomendamos que você mude para usar os otimizadores legados.

  • Use o TensorFlow v1. Recomendamos que você migre para o TensorFlow v2 ou mude para os otimizadores legados se precisar continuar usando o TensorFlow v1.

  Para ver uma lista mais detalhada das alterações significativas das alterações do otimizador, consulte as notas de lançamento oficiais do TensorFlow v2.11.0 nos repositórios do GitHub no TensorFlow.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• TensorFlow v2.11.0

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

• Foi corrigida a semente dos trabalhos de treinamento do PyTorch a partir do PyTorch v1.12 para garantir que não haja discrepância na inicialização do modelo em diferentes processos. Veja também Reprodutibilidade do PyTorch.

• Corrigido o problema que fazia com que os trabalhos de treinamento distribuídos do PyTorch nas instâncias G4dn e G5 não usassem como padrão a comunicação por meio de PCIe.

• O uso indevido das APIs PyTorch/XLA nos transformadores de visão do Hugging Face pode levar a problemas de convergência.

• Ao usar a classe Trainer de transformadores Hugging Face, certifique-se de usar os otimizadores SyncFree definindo o argumento optim como adamw_torch_xla. Para ter mais informações, consulte Modelos de linguagem grandes usando a classe Trainer de Hugging Face Transformers. Veja também Otimizador na documentação do Hugging Face Transformers.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• PyTorch v1.12.0

  763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-trcomp-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

Atualizações de moeda

• Adicionada compatibilidade com Tensorflow v2.10.0.

Outras alterações

• Foram adicionados modelos de PNL Hugging Face usando a biblioteca de Transformadores aos testes de framework do TensorFlow. Para encontrar os modelos de transformadores testados, consulte Modelos testados.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• TensorFlow v2.10.0

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.10.0-gpu-py39-cu112-ubuntu20.04-sagemaker

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

Atualizações de moeda

• Foi adicionada compatibilidade com os transformadores do Hugging Face v4.21.1 com PyTorch v1.11.0.

Melhorias

• Implementou um novo mecanismo inicializador de treinamento distribuído para ativar o SageMaker Training Compiler para modelos de Transformadores Hugging Face com PyTorch. Para saber mais, consulte Executar trabalhos de treinamento do PyTorch com SageMaker SageMaker Training Compiler para treinamento distribuído.

• Integrado com o EFA para melhorar a comunicação coletiva no treinamento distribuído.

• Foi adicionada compatibilidade com instâncias G5 para trabalhos de treinamento em PyTorch. Para ter mais informações, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• HuggingFace v4.21.1 com PyTorch v1.11.0

  763104351884.dkr.ecr.us-west-2.amazonaws.com/huggingface-pytorch-trcomp-training:1.11.0-transformers4.21.1-gpu-py38-cu113-ubuntu20.04

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

Novos atributos

• Adicionada compatibilidade com Tensorflow v2.9.1. O SageMaker Training Compiler é totalmente compatível com a compilação de módulos TensorFlow (tf.*) e módulos TensorFlow Keras (tf.keras.*).

• Foi adicionada compatibilidade com contêineres personalizados criados com a extensão do Contêineres de Aprendizado Profundo AWS para o TensorFlow. Para ter mais informações, consulte Habilitar o SageMaker Training Compiler usando o SageMaker AI Python SDK e estender os contêineres de deep learning do framework do SageMaker AI.

• Foi adicionada compatibilidade com instâncias G5 para trabalhos de treinamento do TensorFlow.

Migração para Contêineres de Aprendizado Profundo AWS

Essa versão foi aprovada no teste de benchmark e foi migrada para o seguinte contêiner AWS de aprendizado profundo:

• TensorFlow 2.9.1

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.9.1-gpu-py39-cu112-ubuntu20.04-sagemaker

  Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.

Melhorias

• Foi adicionada compatibilidade com todos os locais Regiões da AWS em que os AWSContêineres de Aprendizado Profundo estão em serviço, exceto nas regiões da China.

Atualizações de moeda

• Foi adicionada compatibilidade com Transformadores do Hugging Face v4.17.0 com TensorFlow v2.6.3 e PyTorch v1.10.2.

Melhorias

• Conclusão do teste de benchmark e confirmada a aceleração do treinamento nos tipos de instância ml.g4dn. Para encontrar uma lista completa das instâncias ml testadas, consulte Tipos de instâncias compatíveis.

Novos atributos

• Lançado Co Amazon SageMaker Training Compiler na AWSre:Invent 2021.

Migração para Contêineres de Aprendizado Profundo AWS

• O Amazon SageMaker Training Compiler passou no teste de benchmark e foi migrado para os Contêineres de Aprendizado Profundo AWS. Para encontrar uma lista completa dos contêineres pré-criados com o Amazon SageMaker Training Compiler, consulte Frameworks compatíveis com Regiões da AWS, tipos de instância e modelos testados.