Biblioteca de paralelismo de modelos do SageMaker v2

A biblioteca de paralelismo de modelos do Amazon SageMaker AI é um recurso do SageMaker AI que permite treinamentos otimizados e de alto desempenho em grande escala em instâncias com computação acelerada do SageMaker AI. O Principais características da biblioteca de paralelismo de SageMaker modelos v2 inclui técnicas e otimizações para acelerar e simplificar o treinamento de grandes modelos, como paralelismo híbrido de dados fragmentados, paralelismo de tensores, pontos de verificação de ativação e descarregamento de ativação. Você pode usar a biblioteca de SMP para acelerar o treinamento e o ajuste de grandes modelos de linguagem (LLMs), modelos de visão ampla (LVMs) e modelos de base (FMs) com centenas de bilhões de parâmetros.

A biblioteca de paralelismo de modelos do SageMaker v2 (SMP v2) alinha as APIs e os métodos da biblioteca com o paralelismo de dados totalmente fragmentados do PyTorch (FSDP) de código aberto, o que oferece o benefício das otimizações de desempenho do SMP com o mínimo de alterações no código. Com a SMP v2, você pode melhorar o desempenho computacional do treinamento de um grande modelo de última geração no SageMaker AI trazendo seus scripts de treinamento de FSDP do PyTorch para o SageMaker AI.

Você pode usar o SMP v2 para os trabalhos gerais do SageMaker Training e workloads de treinamento distribuídas em clusters Amazon SageMaker HyperPod.