View a markdown version of this page

Framework supportati, Regioni AWS e tipi di istanze - Amazon SageMaker AI
Framework supportatiRegioni AWSTipi di istanze supportati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Framework supportati, Regioni AWS e tipi di istanze

Prima di utilizzare la libreria SageMaker AI distributed data parallelism (SMDDP), controlla quali sono i framework e i tipi di istanza ML supportati e se ci sono quote sufficienti nel tuo account e. AWS Regione AWS

Framework supportati

Le tabelle seguenti mostrano i framework di deep learning e le relative versioni supportate da AI e SMDDP. SageMaker La libreria SMDDP è disponibile in SageMaker AI Framework Containers, integrata nei contenitori Docker distribuiti dalla libreria SageMaker model parallelism (SMP) v2 o scaricabile come file binario.

Nota

Per controllare gli aggiornamenti e le note di rilascio più recenti della libreria SMDDP, consulta SageMaker Note sulla versione della libreria di parallelismo dei dati AI.

PyTorch

PyTorch versione Versione della libreria SMDDP SageMaker Immagini AI Framework Container preinstallate con SMDDP Immagini Docker SMP preinstallate con SMDDP URL del file binario**
v2.3.1 smdistributed-dataparallel==v2.5.0 Non disponibile 658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl
v2.3.0 smdistributed-dataparallel==v2.3.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker Attualmente non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
v2.2.0 smdistributed-dataparallel==v2.2.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.2.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
v2.1.0 smdistributed-dataparallel==v2.1.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
v2.0.1 smdistributed-dataparallel==v2.0.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
v2.0.0 smdistributed-dataparallel==v1.8.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.0/cu118/2023-03-20/smdistributed_dataparallel-1.8.0-cp310-cp310-linux_x86_64.whl
v1.13.1 smdistributed-dataparallel==v1.7.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.13.1/cu117/2023-01-09/smdistributed_dataparallel-1.7.0-cp39-cp39-linux_x86_64.whl
v1.12.1 smdistributed-dataparallel==v1.6.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.1-gpu-py38-cu113-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.1/cu113/2022-12-05/smdistributed_dataparallel-1.6.0-cp38-cp38-linux_x86_64.whl
v1.12.0 smdistributed-dataparallel==v1.5.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.0/cu113/2022-07-01/smdistributed_dataparallel-1.5.0-cp38-cp38-linux_x86_64.whl
v1.11.0 smdistributed-dataparallel==v1.4.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.11.0/cu113/2022-04-14/smdistributed_dataparallel-1.4.1-cp38-cp38-linux_x86_64.whl

** Gli URL dei file binari servono per l’installazione della libreria SMDDP in container personalizzati. Per ulteriori informazioni, consulta Crea il tuo contenitore Docker con la libreria parallela di dati distribuiti SageMaker AI.

Nota

La libreria SMDDP è disponibile Regioni AWS laddove sono in servizio i contenitori SageMaker AI Framework e le immagini Docker SMP.

Nota

La libreria SMDDP v1.4.0 e successive funziona come backend del parallelismo di dati distribuito (torch.distributed) (torch.parallel). PyTorch DistributedDataParallel). In base alla modifica, le seguenti API smdistributed per il pacchetto PyTorch distribuito sono diventate obsolete.

  • smdistributed.dataparallel.torch.distributed è obsoleta. Utilizza invece il pacchetto torch.distributed.

  • smdistributed.dataparallel.torch.parallel.DistributedDataParallel è obsoleta. Usa il file torch.nn.parallel. DistributedDataParallel API invece.

Se devi utilizzare le versioni precedenti della libreria (v1.3.0 o precedenti), consulta la documentazione archiviata sul parallelismo dei dati distribuiti SageMaker AI nella documentazione di AI Python SDK. SageMaker

PyTorch Fulmine

La libreria SMDDP è disponibile per PyTorch Lightning nei seguenti contenitori SageMaker AI Framework Containers for PyTorch e SMP Docker.

PyTorch Lightning v2

PyTorch Versione Lightning PyTorch versione Versione della libreria SMDDP SageMaker Immagini AI Framework Container preinstallate con SMDDP Immagini Docker SMP preinstallate con SMDDP URL del file binario**
2.2.5 2.3.0 smdistributed-dataparallel==v2.3.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker Attualmente non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
2.2.0 2.2.0 smdistributed-dataparallel==v2.2.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.2.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
2.1.2 2.1.0 smdistributed-dataparallel==v2.1.0 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker 658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121 https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
2.1.0 2.0.1 smdistributed-dataparallel==v2.0.1 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker Non disponibile https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl

PyTorch Lightning v1

PyTorch Versione Lightning PyTorch versione Versione della libreria SMDDP SageMaker Immagini AI Framework Container preinstallate con SMDDP URL del file binario**

1.7.2

1.7.0

1.6.4

1.6.3

1.5.10

 1.12.0 smdistributed-dataparallel==v1.5.0 763104351884.dkr.ecr. <region>.amazonaws. com/pytorch- formazione: 1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker https://smdataparallel.s3.amazonaws.com/binary/pytorch/1.12.0/cu113/2022-07-01/smdistributed_dataparallel-1.5.0-cp38-cp38-linux_x86_64.whl

** Gli URL dei file binari servono per l’installazione della libreria SMDDP in container personalizzati. Per ulteriori informazioni, consulta Crea il tuo contenitore Docker con la libreria parallela di dati distribuiti SageMaker AI.

Nota

PyTorch Lightning e le sue librerie di utilità come Lightning Bolts non sono preinstallate nei DLC. PyTorch Quando costruisci un' SageMaker IA PyTorch ModelTrainer e invii una richiesta di formazione nella Fase 2, devi provvedere all'installazione pytorch-lightning e requirements.txt lightning-bolts al relativo contenitore di formazione. SageMaker PyTorch

# requirements.txt
pytorch-lightning
lightning-bolts

Per ulteriori informazioni su come specificare la directory di origine in cui inserire il requirements.txt file insieme allo script di formazione e all'invio del lavoro, consulta Utilizzo di librerie di terze parti nella documentazione di Amazon SageMaker AI Python SDK.

Trasformatori Hugging Face

I AWS Deep Learning Containers for Hugging Face utilizzano i SageMaker Training Containers per PyTorch e come immagini di base. TensorFlow Per consultare le versioni e le relative versioni della libreria Hugging Face Transformers, consulta le versioni più recenti di Hugging Face Containers PyTorch e TensorFlow le versioni precedenti di Hugging Face Container. https://github.com/aws/deep-learning-containers/blob/master/available_images.md#prior-hugging-face-container-versions

TensorFlow (obsoleto)

Importante

La libreria SMDDP ha interrotto il supporto TensorFlow e non è più disponibile nei DLC successivi alla v2.11.0. TensorFlow La tabella seguente elenca i DLC precedenti per i quali è installata la libreria SMDDP. TensorFlow

TensorFlow versione Versione della libreria SMDDP
2.9.1, 2.10.1, 2.11.0 smdistributed-dataparallel==v1.4.1
2.8.3 smdistributed-dataparallel==v1.3.0

Regioni AWS

La libreria SMDDP è disponibile in tutti i luoghi in Regioni AWS cui sono in servizio i AWS Deep Learning Containers for SageMaker AI e le immagini Docker SMP.

Tipi di istanze supportati

La libreria SMDDP richiede uno dei seguenti tipi di istanza ML.

Tipo di istanza
ml.p3dn.24xlarge*
ml.p4d.24xlarge
ml.p4de.24xlarge
Suggerimento

Per eseguire correttamente il training distribuito sui tipi di EFA-enabled istanze, è necessario abilitare il traffico tra le istanze configurando il gruppo di sicurezza del VPC in modo da consentire tutto il traffico in entrata e in uscita da e verso il gruppo di sicurezza stesso. Per informazioni su come impostare le regole dei gruppi di sicurezza, consulta la Fase 1: Preparare un gruppo di EFA-enabled sicurezza nella Amazon EC2 User Guide.

Importante

* La libreria SMDDP ha interrotto il supporto per l’ottimizzazione delle operazioni di comunicazione collettiva sulle istanze P3. Sebbene sia comunque possibile utilizzare l’operazione collettiva AllReduce ottimizzata per SMDDP sulle istanze ml.p3dn.24xlarge, non è più disponibile alcun ulteriore supporto allo sviluppo per migliorare le prestazioni su questo tipo di istanza. Tieni presente che l’operazione collettiva AllGather ottimizzata per SMDDP è disponibile solo per le istanze P4.

Per le specifiche dei tipi di istanza, consulta la sezione Elaborazione accelerata nella pagina tipi di istanza Amazon EC2. Per informazioni sui prezzi delle istanze, consulta Amazon SageMaker Pricing.

Se hai ricevuto un messaggio di errore simile al seguente, segui le istruzioni in Richiedi un aumento della quota di servizio per le risorse di SageMaker intelligenza artificiale.

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.