Note di rilascio del Compilatore di addestramento di Amazon SageMaker

Aggiornamenti sulla valuta

• Aggiunto il supporto per PyTorch v1.13.1

Correzioni di bug

• È stato risolto un problema relativo alle condizioni di gara sulla GPU che causava la perdita di NAN in alcuni modelli come i modelli Vision Transformer (ViT).

Altre modifiche

• Il Compilatore di addestramento di SageMaker migliora le prestazioni permettendo a PyTorch/XLA di sovrascrivere automaticamente gli ottimizzatori (come SGD, Adam, AdamW) in torch.optim o transformers.optimization con le loro versioni syncfree in torch_xla.amp.syncfree (come torch_xla.amp.syncfree.SGD, torch_xla.amp.syncfree.Adam, torch_xla.amp.syncfree.AdamW). Non è necessario modificare le righe di codice in cui si definiscono gli ottimizzatori nello script di addestramento.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• PyTorch v1.13.1

  763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-trcomp-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker

  Per trovare un elenco completo dei container predefiniti con Amazon SageMaker Training Compiler, consulta. Framework supportati, Regioni AWS, tipi di istanze e modelli testati

• tf.keras.optimizers.Optimizer punta a un nuovo ottimizzatore in TensorFlow 2.11.0 e versioni successive. I vecchi ottimizzatori vengono spostati in tf.keras.optimizers.legacy. Un processo potrebbe avere esito negativo a causa di una modifica rivoluzionaria quando esegui le seguenti operazioni.

  • Carica i checkpoint da un vecchio ottimizzatore. Ti consigliamo di passare all'utilizzo degli ottimizzatori precedenti.

  • Usa TensorFlow v1. Ti consigliamo di migrare a TensorFlow v2 o di passare agli ottimizzatori legacy se devi continuare a utilizzare TensorFlow v1.

  Per un elenco più dettagliato delle modifiche apportate all'ottimizzatore, consulta le note di rilascio ufficiali di TensorFlow v2.11.0 nel repository GitHub di TensorFlow.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• TensorFlow v2.11.0

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker

  Per trovare un elenco completo dei container predefiniti con Amazon SageMaker Training Compiler, consulta. Framework supportati, Regioni AWS, tipi di istanze e modelli testati

• È stato corretto il problema iniziale per i processi di addestramento su PyTorch a partire da PyTorch v1.12 per garantire che non vi siano discrepanze nell'inizializzazione del modello tra i diversi processi. Vedi anche Riproducibilità PyTorch.

• Risolto il problema che impediva ai processi di addestramento distribuito da PyTorch su istanze G4dn e G5 di non utilizzare per impostazione predefinita la comunicazione tramite PCIe.

• L'uso improprio delle API PyTorch/XLA nei trasformatori di visione di Hugging Face potrebbe portare a problemi di convergenza.

• Quando utilizzi la classe Trainer Hugging Face Transformers, assicurati di utilizzare gli ottimizzatori SyncFree impostando l'argomento optim su adamw_torch_xla. Per ulteriori informazioni, consulta Modelli linguistici di grandi dimensioni che utilizzano la classe Trainer Hugging Face Transformers. Vedi anche Ottimizzatore nella documentazione di Hugging Face Transformers.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• PyTorch v1.12.0

  763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-trcomp-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker

  Per trovare un elenco completo dei container predefiniti con il Compilatore di addestramento di Amazon SageMaker, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.

Aggiornamenti sulla valuta

• Aggiunto il supporto per Tensorflow v2.10.0.

Altre modifiche

• Aggiunti modelli Hugging Face NLP che utilizzano la libreria Transformers ai test del framework TensorFlow. Per trovare i modelli Transformer testati, consulta Modelli testati.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• TensorFlow v2.10.0

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.10.0-gpu-py39-cu112-ubuntu20.04-sagemaker

  Per trovare un elenco completo dei container predefiniti con il Compilatore di addestramento di Amazon SageMaker, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.

Aggiornamenti sulla valuta

• Aggiunto il supporto per Hugging Face Transformers v4.21.1 con PyTorch v1.11.0.

Miglioramenti

• Implementato un nuovo meccanismo di avvio distribuito dell’addestramento per attivare il Compilatore di addestramento SageMaker per i modelli Hugging Face Transformer con PyTorch. Per saperne di più, consulta Eseguire processi di addestramento PyTorch con il Compilatore di addestramento SageMaker per l’addestramento distribuito.

• Integrato con EFA per migliorare la comunicazione collettiva nell’addestramento distribuito.

• È stato aggiunto il supporto per le istanze G5 per i processi di addestramento su PyTorch. Per ulteriori informazioni, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• HuggingFace v4.21.1 con PyTorch v1.11.0

  763104351884.dkr.ecr.us-west-2.amazonaws.com/huggingface-pytorch-trcomp-training:1.11.0-transformers4.21.1-gpu-py38-cu113-ubuntu20.04

  Per trovare un elenco completo dei container predefiniti con il Compilatore di addestramento di Amazon SageMaker, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.

Nuove caratteristiche

• Aggiunto il supporto per Tensorflow v2.9.1. Il Compilatore di addestramento SageMaker supporta completamente la compilazione dei moduli TensorFlow (tf.*) e dei moduli TensorFlow Keras (tf.keras.*).

• È stato aggiunto il supporto per container personalizzati creati estendendo AWS Deep Learning Containers per TensorFlow. Per ulteriori informazioni, consulta la pagina che spiega come abilitare il compilatore SageMaker per l’addestramento utilizzando SageMaker Python SDK ed estendendo Container per il Deep Learning del framework SageMaker AI.

• È stato aggiunto il supporto per le istanze G5 per i processi di addestramento TensorFlow.

Migrazione a AWSDeep Learning Containers

Questa versione ha superato i test di benchmark ed è stata migrata al seguente AWS Deep Learning Container:

• TensorFlow 2.9.1

  763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.9.1-gpu-py39-cu112-ubuntu20.04-sagemaker

  Per trovare un elenco completo dei container predefiniti con il Compilatore di addestramento Amazon SageMaker, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.

Miglioramenti

• È stato aggiunto il supporto per tutte le Regioni AWS in cui i AWSDeep Learning Containers sono in servizio, ad eccezione delle Regioni della Cina.

Aggiornamenti sulla valuta

• Aggiunto il supporto per Hugging Face Transformers v4.17.0 con TensorFlow v2.6.3 e PyTorch v1.10.2.

Miglioramenti

• Test di benchmark completato e accelerazione confermata dell’addestramento sui tipi di istanze ml.g4dn. Per un elenco completo delle istanze ml testate, consulta Tipi di istanze supportati.

Nuove caratteristiche

• Lanciato il Compilatore di addestramento Amazon SageMaker in AWS re:Invent 2021.

Migrazione a AWSDeep Learning Containers

• Il Compilatore di addestramento di Amazon SageMaker ha superato i test di benchmark ed è stato migrato a AWS Deep Learning Containers. Per trovare un elenco completo dei container predefiniti con il Compilatore di addestramento di Amazon SageMaker, consulta Framework supportati, Regioni AWS, tipi di istanze e modelli testati.