SageMaker biblioteca de paralelismo de modelos v2

A biblioteca de paralelismo de modelos de SageMaker IA da Amazon é um recurso de SageMaker IA que permite treinamento otimizado e de alto desempenho em grande escala em instâncias de computação aceleradas de SageMaker IA. O Principais características da biblioteca de paralelismo de SageMaker modelos v2 inclui técnicas e otimizações para acelerar e simplificar o treinamento de grandes modelos, como paralelismo híbrido de dados fragmentados, paralelismo de tensores, pontos de verificação de ativação e descarregamento de ativação. Você pode usar a biblioteca de SMP para acelerar o treinamento e o ajuste de grandes modelos de linguagem (LLMs), modelos de visão ampla (LVMs) e modelos de base (FMs) com centenas de bilhões de parâmetros.

A biblioteca de paralelismo de SageMaker modelos v2 (SMP v2) alinha as APIs e os métodos da biblioteca com o paralelismo de dados PyTorch totalmente fragmentado (FSDP) de código aberto, o que oferece o benefício das otimizações de desempenho do SMP com o mínimo de alterações no código. Com o SMP v2, você pode melhorar o desempenho computacional do treinamento de um grande modelo de última geração em IA, trazendo seus PyTorch scripts de treinamento do FSDP para a SageMaker IA. SageMaker

Você pode usar o SMP v2 para trabalhos gerais de SageMaker treinamento e cargas de trabalho de treinamento distribuídas em clusters. Amazon SageMaker HyperPod