View a markdown version of this page

Unterstützte Frameworks, AWS-Regionen und Instanztypen - Amazon SageMaker KI
Unterstützte FrameworksAWS-RegionenUnterstützte Instance-Typen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterstützte Frameworks, AWS-Regionen und Instanztypen

Bevor Sie die SageMaker AI Distributed Data Parallelism (SMDDP) -Bibliothek verwenden, überprüfen Sie, welche ML-Frameworks und Instanztypen unterstützt werden und ob in Ihrem Konto und genügend Kontingente vorhanden sind. AWS AWS-Region

Unterstützte Frameworks

Die folgenden Tabellen zeigen die Deep-Learning-Frameworks und ihre Versionen, die SageMaker KI und SMDDP unterstützen. Die SMDDP-Bibliothek ist in SageMaker AI Framework Containers verfügbar, in Docker-Container integriert, die über die SageMaker Model Parallelism (SMP) Library v2 vertrieben werden, oder als Binärdatei herunterladbar.

Anmerkung

Die neuesten Updates und Versionshinweise der SMDDP-Bibliothek finden Sie in den SageMaker Versionshinweise zur KI-Datenparallelitätsbibliothek.

PyTorch

PyTorch Version Version der SMDDP-Bibliothek SageMaker AI Framework Container-Images sind mit SMDDP vorinstalliert SMP-Docker-Images mit vorinstalliertem SMDDP URL der Binärdatei**
v2.3.1 smdistributed-dataparallel==v2.5.0 Nicht verfügbar 658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl
v2.3.0 smdistributed-dataparallel==v2.3.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker Derzeit nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
v2.2.0 smdistributed-dataparallel==v2.2.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.2.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
v2.1.0 smdistributed-dataparallel==v2.1.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
v2.0.1 smdistributed-dataparallel==v2.0.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
v2.0.0 smdistributed-dataparallel==v1.8.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.0/cu118/2023-03-20/smdistributed_dataparallel-1.8.0-cp310-cp310-linux_x86_64.whl
v1.13.1 smdistributed-dataparallel==v1.7.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.13.1/cu117/2023-01-09/smdistributed_dataparallel-1.7.0-cp39-cp39-linux_x86_64.whl
v1.12.1 smdistributed-dataparallel==v1.6.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.1-gpu-py38-cu113-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.1/cu113/2022-12-05/smdistributed_dataparallel-1.6.0-cp38-cp38-linux_x86_64.whl
v1.12.0 smdistributed-dataparallel==v1.5.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.0/cu113/2022-07-01/smdistributed_dataparallel-1.5.0-cp38-cp38-linux_x86_64.whl
v1.11.0 smdistributed-dataparallel==v1.4.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.11.0/cu113/2022-04-14/smdistributed_dataparallel-1.4.1-cp38-cp38-linux_x86_64.whl

** Die URLs der Binärdateien dienen der Installation der SMDDP-Bibliothek in benutzerdefinierten Containern. Weitere Informationen finden Sie unter Erstellen Sie Ihren eigenen Docker-Container mit der SageMaker AI-Bibliothek für verteilte parallele Daten.

Anmerkung

Die SMDDP-Bibliothek ist dort verfügbar, AWS-Regionen wo die SageMaker AI Framework-Container und die SMP-Docker-Images in Betrieb sind.

Anmerkung

Die SMDDP-Bibliothek v1.4.0 und höher fungiert als Backend für PyTorch verteilte (torch.distributed) Datenparallelität (torch.parallel). DistributedDataParallel). Entsprechend der Änderung sind die folgenden smdistributed-APIs für das PyTorch verteilte Paket veraltet.

  • smdistributed.dataparallel.torch.distributed ist veraltet. Verwenden Sie stattdessen das Paket torch.distributed.

  • smdistributed.dataparallel.torch.parallel.DistributedDataParallel ist veraltet. Verwenden Sie torch.nn.parallel. DistributedDataParallel Stattdessen API.

Wenn Sie die vorherigen Versionen der Bibliothek (v1.3.0 oder früher) verwenden müssen, lesen Sie die archivierte SageMaker AI-Dokumentation zur verteilten Datenparallelität in der SageMaker AI Python SDK-Dokumentation.

PyTorch Lightning

Die SMDDP-Bibliothek ist für PyTorch Lightning in den folgenden SageMaker AI Framework-Containern für PyTorch und den SMP Docker-Containern verfügbar.

PyTorch Lightning v2

PyTorch Lightning-Version PyTorch Version Version der SMDDP-Bibliothek SageMaker AI Framework Container-Images sind mit SMDDP vorinstalliert SMP-Docker-Images mit vorinstalliertem SMDDP URL der Binärdatei**
2.2.5 2.3.0 smdistributed-dataparallel==v2.3.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker Derzeit nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
2.2.0 2.2.0 smdistributed-dataparallel==v2.2.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.2.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
2.1.2 2.1.0 smdistributed-dataparallel==v2.1.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
2.1.0 2.0.1 smdistributed-dataparallel==v2.0.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker Nicht verfügbar https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

PyTorch Lightning v1

PyTorch Lightning-Version PyTorch Version Version der SMDDP-Bibliothek SageMaker AI Framework Container-Images sind mit SMDDP vorinstalliert URL der Binärdatei**

1.7.2

1.7.0

1.6.4

1.6.3

1.5.10

 1.12.0 smdistributed-dataparallel==v1.5.0 763104351884.dkr.ecr. <region>. Amazon AWS. com/pytorch-Schulung: 1.12.0-gpu-py38-cu113-ubuntu20.04-Sagemaker https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.0/cu113/2022-07-01/smdistributed_dataparallel-1.5.0-cp38-cp38-linux_x86_64.whl

** Die URLs der Binärdateien dienen der Installation der SMDDP-Bibliothek in benutzerdefinierten Containern. Weitere Informationen finden Sie unter Erstellen Sie Ihren eigenen Docker-Container mit der SageMaker AI-Bibliothek für verteilte parallele Daten.

Anmerkung

PyTorch Lightning und seine Hilfsbibliotheken wie Lightning Bolts sind in den DLCs nicht vorinstalliert. PyTorch Wenn Sie in Schritt 2 eine SageMaker KI konstruieren PyTorch ModelTrainer und eine Anfrage für einen Schulungsauftrag einreichen, müssen Sie angeben, ob die KI installiert ist pytorch-lightning und requirements.txt sich lightning-bolts im SageMaker PyTorch KI-Schulungscontainer befindet.

# requirements.txt
pytorch-lightning
lightning-bolts

Weitere Informationen zur Angabe des Quellverzeichnisses, in dem die requirements.txt Datei zusammen mit Ihrem Trainingsskript und einer Auftragsübermittlung platziert werden soll, finden Sie unter Verwenden von Drittanbieterbibliotheken in der Amazon SageMaker AI Python SDK-Dokumentation.

Hugging Face Transformer

Die AWS Deep-Learning-Container für Hugging Face verwenden die SageMaker Training Container für PyTorch und TensorFlow als ihre Basisimages. Informationen zu den Versionen der Hugging Face Transformers-Bibliothek und den zugehörigen Versionen finden Sie in den neuesten Hugging Face Containern PyTorch und den früheren TensorFlow Versionen von Hugging Face Containern. https://github.com/aws/deep-learning-containers/blob/master/available_images.md#prior-hugging-face-container-versions

TensorFlow (veraltet)

Wichtig

Die SMDDP-Bibliothek hat die Unterstützung für DLCs ab Version 2.11.0 eingestellt TensorFlow und ist in diesen nicht mehr verfügbar. TensorFlow In der folgenden Tabelle sind frühere DLCs für mit installierter SMDDP-Bibliothek aufgeführt. TensorFlow

TensorFlow Version Version der SMDDP-Bibliothek
2.9.1, 2.10.1, 2.11.0 smdistributed-dataparallel==v1.4.1
2.8.3 smdistributed-dataparallel==v1.3.0

AWS-Regionen

Die SMDDP-Bibliothek ist überall dort verfügbar, AWS-Regionen wo die AWS Deep-Learning-Container für SageMaker KI und die SMP-Docker-Images in Betrieb sind.

Unterstützte Instance-Typen

Die SMDDP-Bibliothek erfordert einen der folgenden Instance-Typen.

Instance-Typ
ml.p3dn.24xlarge*
ml.p4d.24xlarge
ml.p4de.24xlarge
Tipp

Um das verteilte Training für die EFA-enabled Instance-Typen ordnungsgemäß durchzuführen, sollten Sie den Datenverkehr zwischen den Instances aktivieren, indem Sie die Sicherheitsgruppe Ihrer VPC so einrichten, dass der gesamte eingehende und ausgehende Datenverkehr zu und von der Sicherheitsgruppe selbst zugelassen wird. Informationen zum Einrichten der Sicherheitsgruppenregeln finden Sie unter Schritt 1: Vorbereitung einer EFA-enabled Sicherheitsgruppe im Amazon EC2-Benutzerhandbuch.

Wichtig

* Die SMDDP-Bibliothek hat die Unterstützung für die Optimierung ihrer kollektiven Kommunikationsoperationen auf P3-Instances eingestellt. Sie können zwar weiterhin das SMDDP-optimierte AllReduce-Kollektiv auf ml.p3dn.24xlarge-Instances verwenden, aber es wird keinen weiteren Entwicklungssupport geben, um die Leistung auf diesem Instance-Typ zu verbessern. Beachten Sie, dass das SMDDP-optimierte AllGather-Kollektiv nur für P4-Instances verfügbar ist.

Die Spezifikationen der Instance-Typen finden Sie im Abschnitt Beschleunigte Datenverarbeitung auf der Seite Amazon-EC2-Instance-Typen. Informationen zu Instance-Preisen finden Sie unter SageMaker Amazon-Preise.

Wenn Sie auf eine Fehlermeldung ähnlich der folgenden gestoßen sind, folgen Sie den Anweisungen unter Anfordern einer Erhöhung des Servicekontingents für SageMaker KI-Ressourcen.

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.