View a markdown version of this page

Kompatibilität mit der SMDDP-Bibliothek, optimiert für AWS Infrastruktur - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kompatibilität mit der SMDDP-Bibliothek, optimiert für AWS Infrastruktur

Sie können die SageMaker Modellparallelismusbibliothek v2 (SMP v2) in Verbindung mit der Bibliothek für SageMaker verteilte Datenparallelität (SMDDP) verwenden, die den für die Infrastruktur optimierten Betrieb der kollektiven Kommunikation ermöglicht. AllGather AWS Beim verteilten Training sind kollektive Kommunikationsoperationen darauf ausgelegt, mehrere GPU-Worker zu synchronisieren und Informationen zwischen ihnen auszutauschen. AllGather ist eine der wichtigsten kollektiven Kommunikationsoperationen, die typischerweise bei der Parallelität fragmentierter Data verwendet werden. Weitere Informationen zur AllGather-Operation von SMDDP finden Sie unter Kollektive SMDDP-AllGather-Operation. Die Optimierung solcher kollektiver Kommunikationsoperationen würde direkt zu einem schnelleren, umfassenden Training ohne negative Auswirkungen auf die Konvergenz beitragen.

Anmerkung

Die SMDDP-Bibliothek unterstützt P4- und P4de-Instances (siehe auch Unterstützte Frameworks, AWS-Regionen, und Instanztypen von der SMDDP-Bibliothek).

Die SMDDP-Bibliothek lässt sich nativ über die Prozessgruppenebene integrieren. PyTorch Um die SMDDP-Bibliothek zu verwenden, müssen Sie Ihrem Trainingsskript nur zwei Codezeilen hinzufügen. Sie unterstützt alle Schulungs-Frameworks wie SageMaker Model Parallelism Library, FSDP und. PyTorch DeepSpeed

Um SMDDP zu aktivieren und die AllGather-Operation zu nutzen, müssen Sie Ihrem Trainingsskript als Teil von Schritt 1: Passen Sie Ihr PyTorch FSDP-Trainingsskript an zwei Codezeilen hinzufügen. Beachten Sie, dass Sie PyTorch Distributed zuerst mit dem SMDDP-Backend initialisieren und dann die SMP-Initialisierung ausführen müssen.

import torch.distributed as dist

# Initialize with SMDDP
import smdistributed.dataparallel.torch.torch_smddp
dist.init_process_group(backend="smddp") # Replacing "nccl"

 # Initialize with SMP
import torch.sagemaker as tsm
tsm.init()

SageMaker Framework-Container für PyTorch (siehe auch Unterstützte Frameworks und AWS-Regionen von SMP v2 und Unterstützte Frameworks, AWS-Regionen, und Instanztypen von der SMDDP-Bibliothek) sind mit der SMP-Binärdatei und der SMDDP-Binärdatei vorkonfiguriert. Weitere Informationen zur SMDDP-Bibliothek finden Sie unter Führen Sie verteilte Schulungen mit der SageMaker KI-Bibliothek für verteilte Datenparallelität durch.