Versionshinweise für die SageMaker Modellparallelitätsbibliothek

Das SMP-Gradientennorm-Clipping unterstützt jetzt die Aktivierungsauslagerung.

Unterstützung für v2.5.1 PyTorch hinzugefügt

Die CUDA-Unterstützung wurde auf v12.4 aktualisiert.

Die NCCL-Unterstützung wurde auf v2.23.4 aktualisiert.

Die SMDDP-Bibliothek wurde auf 2.6.0 aktualisiert.

SMP Docker-Container für PyTorch v2.5.1 mit CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

SMP Enroot-Container für v2.5.1 mit CUDA v12.4 PyTorch

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Unterstützung für SageMaker HyperPod Rezepte hinzugefügt.

SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

SMP Enroot-Container für v2.4.1 mit CUDA v12.1 PyTorch

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung älterer Trainingsskripte mit SMP v2.6.0 auftrat. Dies behebt die Abwärtsinkompatibilität mit SMP v2.6.0.

Es wurde eine DeprecationWarning für torch.sagemaker.distributed.fsdp.checkpoint hinzugefügt. Dieses Modul wird in SMP v2.7.0 nicht mehr unterstützt und entfernt. Wenn Sie derzeit torch.sagemaker.distributed.fsdp.checkpoint in Ihrem Code verwenden, sollten Sie Ihre Skripts vor der Veröffentlichung von SMP v2.7.0 aktualisieren, um zukünftige Probleme zu vermeiden.

Ein in SMP v2.6.0 festgestelltes Problem mit der Abwärtskompatibilität wurde behoben. Dieses Problem stand im Zusammenhang mit der veralteten Checkpoint-Methode USE_PG_WITH_UTIL in SMP v2.6.0, wodurch die Abwärtskompatibilität mit früheren Versionen von Trainingsskripten beeinträchtigt wurde. Um dieses Problem zu beheben, führen Sie Ihre PyTorch Trainingsjobs erneut aus, um den neuesten SMP-Container abzurufen, der in SMP v2.6.1 enthalten ist.

SMP Docker-Container für v2.4.1 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Die folgenden LLM-Modellkonfigurationen werden nun unterstützt. Sie können mit der Verwendung von Kontextparallelität und Tensor-Parallelität beginnen.

Für die folgenden Mixtral-Modellkonfigurationen wird nun Tensor-Parallelität unterstützt.

Unterstützung für eine Implementierung von AllGather-based Kontextparallelität hinzugefügt, die das AllGather Kommunikationskollektiv nutzt, um die vollständige Sequenz von Schlüssel- und Werttensoren zu erhalten. Verfügbare Implementierungen sind p2p und all_gather. Die p2p-Implementierung verwendet Peer-to-Peer-Aufrufe zum Senden/Empfangen für die Ansammlung von Schlüssel- und Werte-Tensoren (KV) während der Aufmerksamkeitsberechnung. Sie läuft asynchron, sodass Überschneidungen von Kommunikation und Datenverarbeitung möglich sind. Andererseits verwendet die all_gather-Implementierung die kollektive AllGather-Kommunikationsoperation für die Ansammlung von KV-Tensoren. Informationen zur Anwendung dieser Implementierung von Kontextparallelität finden Sie unter Kontextparallelität.

Die Einstellung des RoPE-Theta-Werts (Rotary Position Embedding) wird nun unterstützt.

Es wurde ein Fehler behoben, bei dem Rotary Position Embedding (RoPE) beim Vortraining nicht richtig initialisiert wurde, wenn die verzögerte Parameterinitialisierung aktiviert war.

Transformer Engine unterstützt derzeit keine Kontextparallelität oder FP8 bei aktivierter Sliding Window Attention. Daher unterstützt die SMP-Version von Mistral Transformers keine Kontextparallelität und kein FP8-Training, wenn die Sliding-Window-Konfiguration auf einen Wert ungleich Null gesetzt ist.

Auf v2.4.1 aktualisiert PyTorch

Megatron auf v0.8.0 aktualisiert

Die TransformerEngine Bibliothek wurde auf Version 1.10 aktualisiert

Transformers auf v4.44.2 aktualisiert

cuDNN auf v9.4.0.58 aktualisiert

SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Das Training mit gemischter Präzision unter Verwendung des FP8-Datenformats auf P5-Instances für das Mixtral-Modell wird nun unterstützt.

Kontextparallelität wird nun für die folgenden Modellkonfigurationen unterstützt.

Das asynchrone Speichern von Checkpoints wird nun unterstützt. Weitere Informationen hierzu finden Sie unter Checkpointing mit SMP.

Es wurde ein Problem behoben, das bei der Llama-Optimierung zu unerwartet hohen Anfangsverlusten führte, wenn ein vortrainierter Modell-Checkpoint geladen und die Tensorparallelität verwendet wurde.

Um das Aktivierungs-Checkpointing für Mixtral mit gemischter FP8-Präzision zu verwenden, müssen Sie die Aufmerksamkeits- und Expertenebenen separat überprüfen. Ein Beispiel für die korrekte Einrichtung finden Sie im Beispiel-Trainingsskript im Amazon SageMaker AI Examples Repository.

Der Lastenausgleich in der MoE-Konfiguration (torch.sagemaker.moe.moe_config.moeConfig) ist derzeit nicht mit dem Aktivierungs-Checkpoint kompatibel.

GPT-NeoX Zeigt mit Kontextparallelität einen Leistungsrückgang sowohl vor dem Training als auch bei der Feinabstimmung an.

GPT-NeoX Bei P4-Instances führt das direkte Laden von Gewichtungen aus einem transformierten Modell mit verzögerter Parameterinitialisierung in ein Hugging Face-Transformatormodell zu einer Verlustanpassung im ersten Schritt.

Die Bibliothek wurde auf Version 2.5.8 aktualisiert FlashAttention

TransformerEngine-Bibliothek auf v1.8 aktualisiert

SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Eine vollständige Liste der unterstützten Regionen finden Sie unter AWS-Regionen.

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein Fehler behoben, der zu falschen Logit-Formen führte, wenn bei der Verwendung des SMP-Transformers im Vorwärtsdurchlauf keine Beschriftungen übergeben wurden.

Unterstützung für v2.3.1 hinzugefügt. PyTorch

Unterstützung für Python v3.11 hinzugefügt

Die Bibliothek Hugging Face Transformers v4.40.1 wird nun unterstützt.

Die Unterstützung für Python v3.10 wurde eingestellt.

Die Unterstützung für die Versionen der Bibliothek Hugging Face Transformers vor v4.40.1 wurde eingestellt.

Es wurde ein Patch hinzugefügt, mit dem beim Speichern deduplizierter Tensoren zwischen verschiedenen Rängen gewechselt werden kann. Weitere Informationen finden Sie im Diskussionsthread im Projektarchiv. PyTorch GitHub

Es gibt ein bekanntes Problem, dass der Verlust bei der Feinabstimmung von Llama-3 70B mithilfe der Tensorparallelität zu einem Anstieg und dann bei einem höheren Verlustwert wieder aufgenommen wird.

Die SMDDP-Bibliothek wurde auf v2.3.0 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.21.5 aktualisiert.

Die EFA-Software wurde auf v1.32.0 aktualisiert.

Die Installation der Bibliothek Torch Distributed Experimental (torchdistX) wurde eingestellt.

SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Pre-installed Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung von moe_load_balancing=balanced in torch.sagemaker.moe.moe_config.moeConfig zur Expertenparallelität auftrat.

Es wurde ein Problem bei der Optimierung behoben, bei dem beim Aufruf von torch.sagemaker.transform ein KeyError ausgelöst wurde, wenn load_state_dict_from_rank0 aktiviert war.

Es wurde ein OOM-Fehler (Out-of-Memory) behoben, der beim Laden großer MoE-Modelle (Mixture of Experts) wie Mixtral 8x22B zur Optimierung auftrat.

SMP-Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Zur Unterstützung von MoE-Transformer-Modellen (Mixture of Experts) wurde die Expertenparallelität als neue Kernfunktion hinzugefügt. Weitere Informationen hierzu finden Sie unter Expertenparallelität.

SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Das FP8-Training der folgenden Transformer-Modelle von Hugging Face auf P5-Instances mit Transformer-Engine-Integration wird nun unterstützt:

Es wurde ein Fehler behoben, bei dem vor dem kollektiven AllGather-Aufruf während des Tensorparallelitätstrainings nicht garantiert wurde, dass die Tensoren zusammenhängend waren.

Unterstützung für PyTorch v2.2.0 hinzugefügt.

Die SMDDP-Bibliothek wurde auf v2.2.0 aktualisiert.

Die FlashAttention Bibliothek wurde auf Version 2.3.3 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.19.4 aktualisiert.

Die Unterstützung für die Transformer-Engine-Versionen vor v1.2.0 wurde eingestellt.

Das SMP-Feature Aktivierung, Entladung funktioniert derzeit nicht. Verwenden Sie stattdessen das native PyTorch Aktivierungs-Offloading.

Es wurde ein Patch hinzugefügt, um den Leistungsrückgang zu beheben, der im Problemthread https://github.com/pytorch/pytorch/issues/117748 im PyTorch GitHub Repository besprochen wurde.

SMP Docker-Container für PyTorch v2.2.0 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Unterstützung für PyTorch v2.1.2 hinzugefügt.

Die Unterstützung für Hugging Face Transformers v4.31.0 wurde eingestellt.

Es wurde festgestellt, dass die Optimierung des Llama-2-Modells von Hugging Face mit attn_implementation=flash_attention_2 und FSDP zu Modellabweichungen führt. Eine Referenz finden Sie im Problemticket im Hugging Face Transformers-Repository. GitHub Um das Divergenzproblem zu vermeiden, verwenden Sie attn_implementation=sdpa. Verwenden Sie alternativ die Implementierung des SMP-Transformer-Modells, indem Sie use_smp_implementation=True einrichten.

SMP Docker-Container für v2.1.2 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Ein neues torch.sagemaker-Paket wurde gegenüber dem vorherigen smdistributed.modelparallel.torch-Paket in SMP v1.x vollständig überarbeitet.

PyTorch Unterstützung für 2.0.1.

Unterstützung für PyTorch FSDP.

Implementierung der Tensorparallelität durch Integration in die Transformer-Engine-Bibliothek

Unterstützung sowohl für SageMaker Training als auch. SageMaker HyperPod

SMP v2 bietet eine vollständige Überarbeitung der APIs und stellt das torch.sagemaker-Paket bereit. In den meisten Fällen sind nur die Initialisierung mit dem torch.sagemaker.init()-Modul und die Übergabe der Konfigurationsparameter zur Modellparallelität erforderlich. Mit diesem neuen Paket können Sie Codeänderungen in Ihrem Trainingsskript erheblich vereinfachen. Weitere Informationen zur Anpassung Ihres Trainingsskripts an SMP v2 finden Sie unter Verwenden Sie die SageMaker Modellparallelitätsbibliothek v2.

Wenn Sie SMP v1 für das Training von Transformer-Modellen von Hugging Face verwendet haben und die Modelle in SMP v2 wiederverwenden möchten, finden Sie weitere Informationen unter Upgrade von SMP v1 auf SMP v2.

Für das PyTorch FSDP-Training sollten Sie SMP v2 verwenden.

Aktivierungs-Checkpointing funktioniert derzeit nur mit den folgenden Wrapping-Richtlinien mit FSDP.

Für die Verwendung von Aktivierung, Entladung muss der Typ des FSDP-Aktivierungs-Checkpoints REENTRANT sein.

Bei der Ausführung mit aktivierter Tensorparallelität und dem Parallelitätsgrad 1 der fragmentierten Daten müssen Sie backend = nccl verwenden. Die smddp-Backend-Option wird in diesem Szenario nicht unterstützt.

Die Transformer Engine muss PyTorch mit der SMP-Bibliothek verwendet werden, auch wenn keine Tensorparallelität verwendet wird.

Ab dieser Version ist die Dokumentation für die SageMaker Modellparallelismus-Bibliothek vollständig in diesem Amazon AI-Entwicklerhandbuch verfügbar. SageMaker Zugunsten dieses vollständigen Entwicklerhandbuchs für SMP v2 im Amazon SageMaker AI Developer Guide ist die zusätzliche Referenz für SMP v1.x in der SageMaker Python-SDK-Dokumentation veraltet. Wenn Sie die Dokumentation für SMP v1.x noch benötigen, finden Sie das Entwicklerhandbuch für SMP v1.x unter(Archivierte) SageMaker Modellparallelismus-Bibliothek v1.x, und die Referenz zur SMP-Python-Bibliothek v1.x ist in der Python-SDK-Dokumentation v2.199.0-Dokumentation verfügbar. SageMaker

Die Unterstützung für wurde eingestellt. TensorFlow

Die Pipeline-Parallelität wird in SMP v2 nicht unterstützt.

Es gibt keine Unterstützung für die DeepSpeed Bibliothek zugunsten der systemeigenen PyTorch FSDP.

SMP Docker-Container für v2.0.1 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121