Frameworks, Regiões da AWS e tipos de instâncias compatíveis

Antes de usar a biblioteca de paralelismo de dados distribuídos do SageMaker AI (SMDDP), verifique quais são os frameworks de ML e os tipos de instância compatíveis e se há cotas suficientes em sua conta da AWS e Região da AWS.

Frameworks compatíveis

As tabelas a seguir mostram os frameworks de aprendizado profundo e as versões compatíveis com o SageMaker AI e a SMDDP. A biblioteca de SMDDP está disponível nos contêineres de framework do SageMaker AI, integrada aos contêineres do Docker distribuídos pela biblioteca de paralelismo de modelos do SageMaker AI (SMP) v2 ou pode ser baixada como um arquivo binário.

PyTorch

** Os URLs dos arquivos binários servem para instalar a biblioteca SMDDP em contêineres personalizados. Para ter mais informações, consulte Criar seu próprio contêiner do Docker com a biblioteca de paralelismo de dados distribuídos do SageMaker AI.

PyTorch Lightning

A biblioteca de SMDDP está disponível para o PyTorch Lightning nos contêineres de framework do SageMaker AI para PyTorch e nos contêineres do Docker da SMP a seguir.

PyTorch Lightning v2

PyTorch Lightning v1

** Os URLs dos arquivos binários servem para instalar a biblioteca SMDDP em contêineres personalizados. Para ter mais informações, consulte Criar seu próprio contêiner do Docker com a biblioteca de paralelismo de dados distribuídos do SageMaker AI.

# requirements.txt
pytorch-lightning
lightning-bolts

Transformadores Hugging Face

Os contêineres de aprendizado profundo da AWS para Hugging Face usam os contêineres de treinamento do SageMaker para PyTorch e TensorFlow como imagens base. Para consultar as versões da biblioteca Hugging Face Transformers e as versões pareadas do PyTorch e do TensorFlow, consulte as versões mais recentes dos contêineres do Hugging Face e as versões anteriores do Hugging Face Container.

TensorFlow (obsoleto)

Regiões da AWS

A biblioteca de SMDDP está disponível em todos as Regiões da AWS onde os contêineres de deep learning da AWS para o SageMaker AI e as imagens do Docker da SMP estão disponíveis.

Tipos de instâncias compatíveis

A biblioteca SMDDP exige um dos seguintes tipos de instância:

Para especificações dos tipos de instância, consulte a seção Computação acelerada na página Tipos de instância do Amazon EC2. Para obter informações sobre a definição de preço de instâncias, consulte Definição de preço do Amazon SageMaker.

Se você encontrou uma mensagem de erro semelhante à apresentada abaixo, siga as instruções em Request a service quota increase for SageMaker AI resources.

ResourceLimitExceeded: An error occurred (ResourceLimitExceeded) when calling
the CreateTrainingJob operation: The account-level service limit 'ml.p3dn.24xlarge
for training job usage' is 0 Instances, with current utilization of 0 Instances
and a request delta of 1 Instances.
Please contact AWS support to request an increase for this limit.