Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beginnen Sie mit verteilten Schulungen in Amazon AI SageMaker

Auf der folgenden Seite finden Sie Informationen zu den Schritten, die für den Einstieg in verteilte Schulungen in Amazon SageMaker AI erforderlich sind. Wenn Sie bereits mit verteilten Trainings vertraut sind, wählen Sie zunächst eine der folgenden Optionen, die Ihrer bevorzugten Strategie oder Ihrem bevorzugten Framework entspricht. Weitere Informationen zu verteilten Trainings im Allgemeinen finden Sie unter Konzepte für verteiltes Training.

Die verteilten SageMaker KI-Schulungsbibliotheken sind für die SageMaker Trainingsumgebung optimiert. Sie helfen Ihnen dabei, Ihre verteilten Schulungsjobs an SageMaker KI anzupassen und die Trainingsgeschwindigkeit und den Trainingsdurchsatz zu verbessern. Die Bibliotheken bieten sowohl datenparallele als auch modellparallele Trainingsstrategien. Sie kombinieren Software- und Hardwaretechnologien, um die Kommunikation zwischen GPU und Knoten zu verbessern, und erweitern die Trainingsmöglichkeiten der SageMaker KI um integrierte Optionen, die nur minimale Codeänderungen an Ihren Trainingsskripten erfordern. 

Bevor Sie beginnen:

SageMaker Das Training unterstützt verteiltes Training sowohl auf einer einzelnen als auch auf mehreren Instanzen, sodass Sie Schulungen jeder Größenordnung in großem Umfang durchführen können.

Wir empfehlen Ihnen, den ModelTrainer Kurs zusammen mit PyTorch und TensorFlow im SageMaker Python-SDK zu verwenden. Dabei handelt es sich um die Starter für Trainingsaufgaben mit verschiedenen verteilten Trainingsoptionen. Wenn Sie ein ModelTrainer Objekt erstellen, richtet das Objekt eine verteilte Trainingsinfrastruktur ein, führt die CreateTrainingJob API im Backend aus, findet die Region, in der Ihre aktuelle Sitzung läuft, und ruft einen der vorgefertigten AWS Deep-Learning-Container ab, der eine Reihe von Bibliotheken enthält, darunter Deep-Learning-Frameworks, verteilte Trainingsframeworks und den EFA-Treiber. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/efa.html Wenn Sie ein FSx-Dateisystem auf den Trainingsinstanzen mounten möchten, müssen Sie Ihr VPC-Subnetz und Ihre Sicherheitsgruppen-ID an die übergeben ModelTrainer.

Lesen Sie die folgenden allgemeinen Hinweise zur grundlegenden Einrichtung der SageMaker Infrastruktur, bevor Sie Ihr verteiltes KI-Training ausführen.

Availability Zones und Netzwerk-Backplane

Bei der Verwendung mehrerer Instances (auch Knoten genannt) ist es wichtig, das Netzwerk zu verstehen, das die Instances verbindet, wie die Trainingsdaten gelesen und wie Informationen untereinander ausgetauscht werden. Wenn Sie beispielsweise einen verteilten datenparallelen Trainingsauftrag ausführen, spielen eine Reihe von Faktoren eine entscheidende Rolle, wie die Kommunikation zwischen den Knoten eines Compute-Clusters zur Ausführung des AllReduce-Vorgangs und die Datenübertragung zwischen den Knoten sowie die Datenspeicherung in Amazon Simple Storage Service oder Amazon FSx für Lustre, um eine optimale Nutzung der Datenverarbeitungsressourcen und eine schnellere Trainingsgeschwindigkeit zu erreichen. Um den Kommunikationsaufwand zu reduzieren, stellen Sie sicher, dass Sie Instances, VPC-Subnetz und Datenspeicher in derselben AWS-Region Availability Zone konfigurieren.

GPU-Instances mit schnellerem Netzwerk und Speicher mit hohem Durchsatz

Sie können technisch gesehen beliebiges Instances für verteilte Trainings verwenden. Für Fälle, in denen Sie verteilte Trainingsjobs mit mehreren Knoten ausführen müssen, um große Modelle wie große Sprachmodelle (LLMs) und Diffusionsmodelle zu trainieren, die eine schnellere Kommunikation zwischen den Knoten erfordern, empfehlen EFA-enabled wir GPU-Instances, die von KI unterstützt werden. SageMaker Insbesondere für verteilte SageMaker KI-Trainingsaufgaben empfehlen wir P4d- und P4de-Instances, die mit NVIDIA A100-GPUs ausgestattet sind. Diese sind außerdem mit lokalem Instance-Speicher mit hohem Durchsatz und niedriger Latenz sowie schnellerem Knotennetzwerk ausgestattet. Für die Datenspeicherung empfehlen wir Amazon FSx für Lustre, das einen hohen Durchsatz für die Speicherung von Trainingsdatensätzen und Modellprüfpunkten bietet.

Verwenden Sie die SMDDP-Bibliothek ( SageMaker AI Distributed Data Parallelism)

Die SMDDP-Bibliothek verbessert die Kommunikation zwischen Knoten mit Implementierungen AllReduce und AllGather kollektiven Kommunikationsvorgängen, die für die AWS Netzwerkinfrastruktur und die Amazon AI ML-Instance-Topologie optimiert sind. SageMaker Sie können die SMDDP-Bibliothek als Backend für PyTorch-based verteilte Trainingspakete verwenden: PyTorch Distributed Data Parallel (DDP), PyTorch Fully Sharded Data Parallelism (FSDP) und. DeepSpeed Megatron-DeepSpeed Das folgende Codebeispiel zeigt, wie Sie eine PyTorch-Schätzfunktion für das Starten eines verteilten Trainingsjobs auf zwei ml.p4d.24xlarge-Instances festlegen.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    # Activate distributed training with SMDDP
    distributed=Torchrun()
)

Informationen zur Vorbereitung Ihres Trainingsskripts und zum Starten eines verteilten datenparallelen Trainingsauftrags zum Thema KI finden Sie unter. SageMaker Führen Sie verteilte Schulungen mit der SageMaker KI-Bibliothek für verteilte Datenparallelität durch

Verwenden Sie die SageMaker AI Model Parallelism Library (SMP)

SageMaker AI stellt die SMP-Bibliothek bereit und unterstützt verschiedene verteilte Trainingstechniken wie Sharded Data Parallelism, Pipelining, Tensorparallelism, Optimizer State Sharding und mehr. Weitere Informationen über das Angebot der SMP-Bibliothek finden Sie unter Kernfunktionen der SageMaker Model Parallelism Library.

Um die Modellparallelismus-Bibliothek von SageMaker AI zu verwenden, konfigurieren Sie die Parameter der KI-Framework-Schätzer. distribution SageMaker

Die ModelTrainer Klasse unterstützt und. PyTorch TensorFlow Das folgende Codebeispiel zeigt, wie eine ModelTrainer für verteiltes Training mit der Modellparallelitätsbibliothek auf zwei ml.p4d.24xlarge Instanzen erstellt wird.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    distributed=Torchrun()
)

Informationen dazu, wie Sie Ihr Trainingsskript anpassen, Verteilungsparameter in der estimator Klasse konfigurieren und einen verteilten Trainingsjob starten, finden Sie in der Modellparallelismus-Bibliothek von SageMaker AI (siehe auch Distributed Training APIs in der SageMaker Python-SDK-Dokumentation).

Verwenden verteilter Open-Source-Trainingsframeworks

SageMaker AI unterstützt auch die folgenden Optionen für die Bedienung mpirun und torchrun im Backend.