As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comece com o treinamento distribuído na Amazon SageMaker AI

A página a seguir fornece informações sobre as etapas necessárias para começar a usar o treinamento distribuído na Amazon SageMaker AI. Se você já estiver familiarizado com o treinamento distribuído, escolha uma das opções a seguir que corresponda à sua estratégia ou framework preferido para começar. Se quiser aprender sobre treinamento distribuído em geral, consulte Conceitos de treinamento distribuído.

As bibliotecas de treinamento distribuído de SageMaker IA são otimizadas para o ambiente de SageMaker treinamento, ajudam a adaptar suas tarefas de treinamento distribuído à SageMaker IA e melhoram a velocidade e o rendimento do treinamento. As bibliotecas oferecem estratégias de treinamento tanto para paralelismo de dados quanto para paralelismo de modelos. Eles combinam tecnologias de software e hardware para melhorar as comunicações entre GPUs e entre nós e ampliam os recursos de treinamento da SageMaker IA com opções integradas que exigem alterações mínimas de código em seus scripts de treinamento. 

Antes de começar

SageMaker O treinamento oferece suporte ao treinamento distribuído em uma única instância e em várias instâncias, para que você possa executar treinamentos de qualquer tamanho em grande escala.

Recomendamos que você use a ModelTrainer classe com PyTorch e TensorFlow no SDK do SageMaker Python, que são os lançadores de tarefas de treinamento com várias opções de treinamento distribuídas. Quando você cria um ModelTrainer objeto, o objeto configura a infraestrutura de treinamento distribuído, executa a CreateTrainingJob API no back-end, localiza a região em que sua sessão atual está sendo executada e usa um dos contêineres pré-criados de aprendizado AWS profundo pré-fabricados com várias bibliotecas, incluindo estruturas de aprendizado profundo, estruturas de treinamento distribuído e o driver EFA. https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/efa.html Se quiser montar um sistema de arquivos FSx nas instâncias de treinamento, você precisa passar sua sub-rede VPC e ID do grupo de segurança para o. ModelTrainer

Antes de executar seu trabalho de treinamento distribuído em SageMaker IA, leia as seguintes orientações gerais sobre a configuração básica da infraestrutura.

Zonas de disponibilidade e backplane de rede

Ao usar várias instâncias (também chamadas de nós), é importante entender a rede que conecta as instâncias, como elas leem os dados de treinamento e como compartilham informações entre si. Por exemplo, ao executar um trabalho de treinamento distribuído com paralelismo de dados, diversos fatores, como a comunicação entre os nós de um cluster de computação para a execução da operação AllReduce e a transferência de dados entre os nós e o armazenamento de dados no Amazon Simple Storage Service ou no Amazon FSx para Lustre, desempenham um papel crucial para alcançar a utilização otimizada de recursos de computação e uma velocidade de treinamento mais rápida. Para reduzir a sobrecarga de comunicação, certifique-se de configurar instâncias, sub-rede VPC e armazenamento de dados na mesma Região da AWS zona de disponibilidade.

Instâncias de GPU com rede mais rápida e armazenamento de alto throughput

Tecnicamente, você pode usar qualquer instância para treinamento distribuído. Para casos em que você precisa executar trabalhos de treinamento distribuído em vários nós para treinar modelos grandes, como modelos de linguagem grande (LLMs) e modelos de difusão, que exigem uma comutação mais rápida entre nós, recomendamos EFA-enabled instâncias de GPU suportadas pela IA. SageMaker Especialmente, para obter o trabalho de treinamento distribuído de melhor desempenho em SageMaker IA, recomendamos instâncias P4d e P4de equipadas com GPUs NVIDIA A100. Essas instâncias também estão equipadas com armazenamento local de alto throughput e baixa latência, além de uma rede intra-nó mais rápida. Para armazenamento de dados, recomendamos o Amazon FSx para Lustre que fornece alta throughput para armazenar conjuntos de dados de treinamento e pontos de verificação de modelos.

Use a biblioteca de paralelismo de dados distribuídos de SageMaker IA (SMDDP)

A biblioteca SMDDP melhora a comunicação entre os nós com implementações AllReduce e operações de comunicação AllGather coletiva que são otimizadas para infraestrutura de AWS rede e topologia de instância do Amazon SageMaker AI ML. Você pode usar a biblioteca SMDDP como back-end de pacotes de treinamento PyTorch-based distribuídos: dados PyTorch distribuídos paralelos (DDP), paralelismo de dados PyTorch totalmente fragmentados (FSDP) e. DeepSpeed Megatron-DeepSpeed Os exemplos de código a seguir demonstram como definir um estimador PyTorch para iniciar um trabalho de treinamento distribuído em duas instâncias ml.p4d.24xlarge.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    # Activate distributed training with SMDDP
    distributed=Torchrun()
)

Para saber como preparar seu roteiro de treinamento e iniciar um trabalho de treinamento distribuído com dados paralelos sobre SageMaker IA, consulte. Execute treinamento distribuído com a biblioteca de paralelismo de dados distribuídos de SageMaker IA

Use a biblioteca de paralelismo de modelos de SageMaker IA (SMP)

SageMaker A IA fornece a biblioteca SMP e oferece suporte a várias técnicas de treinamento distribuído, como paralelismo de dados fragmentados, pipelining, paralelismo de tensores, fragmentação de estado do otimizador e muito mais. Para saber mais sobre o que a biblioteca SMP oferece, consulte Principais características da biblioteca de SageMaker paralelismo de modelos.

Para usar a biblioteca de paralelismo de modelos da SageMaker IA, configure o distribution parâmetro dos estimadores da estrutura de SageMaker IA.

A ModelTrainer classe suporta PyTorch TensorFlow e. O exemplo de código a seguir mostra como construir um treinamento ModelTrainer para distribuição com a biblioteca de paralelismo de modelos em duas instâncias. ml.p4d.24xlarge

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    distributed=Torchrun()
)

Para saber como adaptar seu script de treinamento, configurar parâmetros de distribuição na estimator classe e iniciar um trabalho de treinamento distribuído, consulte a biblioteca de paralelismo de modelos da SageMaker IA (consulte também APIs de treinamento distribuído na documentação do SDK do SageMaker Python).

Use frameworks de treinamento distribuído de código aberto

SageMaker A IA também oferece suporte às seguintes opções para operar mpirun e torchrun no back-end.