As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comece com o treinamento distribuído na Amazon SageMaker AI

A página a seguir fornece informações sobre as etapas necessárias para começar a usar o treinamento distribuído na Amazon SageMaker AI. Se você já estiver familiarizado com o treinamento distribuído, escolha uma das opções a seguir que corresponda à sua estratégia ou framework preferido para começar. Se quiser aprender sobre treinamento distribuído em geral, consulte Conceitos de treinamento distribuído.

As bibliotecas de treinamento distribuído de SageMaker IA são otimizadas para o ambiente de SageMaker treinamento, ajudam a adaptar seus trabalhos de treinamento distribuídos à SageMaker IA e melhoram a velocidade e a produtividade do treinamento. As bibliotecas oferecem estratégias de treinamento tanto para paralelismo de dados quanto para paralelismo de modelos. Eles combinam tecnologias de software e hardware para melhorar as comunicações entre GPUs e entre nós e ampliam os recursos de treinamento da SageMaker IA com opções integradas que exigem alterações mínimas de código em seus scripts de treinamento. 

Antes de começar

SageMaker O treinamento oferece suporte ao treinamento distribuído em uma única instância e em várias instâncias, para que você possa executar treinamentos de qualquer tamanho em grande escala. Recomendamos que você use as classes do estimador de estrutura, como PyTorche TensorFlowno SDK do SageMaker Python, que são os inicializadores de trabalhos de treinamento com várias opções de treinamento distribuídas. Quando você cria um objeto estimador, o objeto configura uma infraestrutura de treinamento distribuída, executa a CreateTrainingJob API no back-end, encontra a região em que sua sessão atual está sendo executada e extrai um dos contêineres de aprendizado AWS profundo pré-criados, pré-empacotados com várias bibliotecas, incluindo estruturas de aprendizado profundo, estruturas de treinamento distribuídas e o driver EFA. Se você deseja montar um sistema de arquivos FSx nas instâncias de treinamento, é necessário fornecer sua sub-rede VPC e ID do grupo de segurança ao estimador. Antes de executar seu trabalho de treinamento distribuído em SageMaker IA, leia as orientações gerais a seguir sobre a configuração básica da infraestrutura.

Zonas de disponibilidade e backplane de rede

Ao usar várias instâncias (também chamadas de nós), é importante entender a rede que conecta as instâncias, como elas leem os dados de treinamento e como compartilham informações entre si. Por exemplo, ao executar um trabalho de treinamento distribuído com paralelismo de dados, diversos fatores, como a comunicação entre os nós de um cluster de computação para a execução da operação AllReduce e a transferência de dados entre os nós e o armazenamento de dados no Amazon Simple Storage Service ou no Amazon FSx para Lustre, desempenham um papel crucial para alcançar a utilização otimizada de recursos de computação e uma velocidade de treinamento mais rápida. Para reduzir a sobrecarga de comunicação, certifique-se de configurar instâncias, sub-rede VPC e armazenamento de dados na Região da AWS mesma zona de disponibilidade.

Instâncias de GPU com rede mais rápida e armazenamento de alto throughput

Tecnicamente, você pode usar qualquer instância para treinamento distribuído. Para casos em que você precisa executar trabalhos de treinamento distribuído de vários nós para treinar modelos grandes, como modelos de linguagem grande (LLMs) e modelos de difusão, que exigem uma comutação mais rápida entre nós, recomendamos EFA-enabled instâncias de GPU compatíveis com IA. SageMaker Especialmente, para obter o trabalho de treinamento distribuído de maior desempenho em SageMaker IA, recomendamos instâncias P4d e P4de equipadas com GPUs NVIDIA A100. Essas instâncias também estão equipadas com armazenamento local de alto throughput e baixa latência, além de uma rede intra-nó mais rápida. Para armazenamento de dados, recomendamos o Amazon FSx para Lustre que fornece alta throughput para armazenar conjuntos de dados de treinamento e pontos de verificação de modelos.

Use a biblioteca de paralelismo de dados distribuídos de SageMaker IA (SMDDP)

A biblioteca SMDDP melhora a comunicação entre os nós com implementações AllReduce e operações de comunicação AllGather coletiva que são otimizadas para a infraestrutura de AWS rede e a topologia de instância do Amazon SageMaker AI ML. Você pode usar a biblioteca SMDDP como back-end de pacotes de treinamento PyTorch-based distribuídos: paralelo de PyTorch dados distribuídos (DDP), paralelismo de dados PyTorch totalmente fragmentado (FSDP) e. DeepSpeedMegatron-DeepSpeed Os exemplos de código a seguir demonstram como definir um estimador PyTorch para iniciar um trabalho de treinamento distribuído em duas instâncias ml.p4d.24xlarge.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Para saber como preparar seu script de treinamento e iniciar um trabalho de treinamento paralelo de dados distribuídos sobre SageMaker IA, consulte. Execute treinamento distribuído com a biblioteca de paralelismo de dados distribuídos de SageMaker IA

Use a biblioteca de paralelismo de modelos de SageMaker IA (SMP)

SageMaker A IA fornece a biblioteca SMP e oferece suporte a várias técnicas de treinamento distribuído, como paralelismo de dados fragmentados, pipelining, paralelismo de tensores, fragmentação de estado do otimizador e muito mais. Para saber mais sobre o que a biblioteca SMP oferece, consulte Principais características da biblioteca de SageMaker paralelismo de modelos.

Para usar a biblioteca de paralelismo de modelos da SageMaker AI, configure o distribution parâmetro dos estimadores da estrutura de SageMaker IA. Os estimadores de estrutura suportados são e. PyTorchTensorFlow O exemplo de código a seguir mostra como estruturar um estimador de framework para treinamento distribuído com a biblioteca de paralelismo de dados em duas instâncias ml.p4d.24xlarge.

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Para saber como adaptar seu script de treinamento, configurar parâmetros de distribuição na estimator classe e iniciar um trabalho de treinamento distribuído, consulte a biblioteca de paralelismo de modelos da SageMaker AI (consulte também APIs de treinamento distribuído na documentação do SDK do PythonSageMaker ).

Use frameworks de treinamento distribuído de código aberto

SageMaker A IA também oferece suporte às seguintes opções de operação mpirun e torchrun no back-end.