Biblioteca de paralelismo de modelos de SageMaker v2

La biblioteca de paralelismo de modelos de Amazon SageMaker AI es una capacidad de SageMaker AI que permite un entrenamiento optimizado a gran escala y de alto rendimiento en instancias de computación acelerada de SageMaker AI. Las Características principales de la biblioteca de paralelismo de SageMaker modelos v2 incluyen técnicas y optimizaciones para acelerar y simplificar el entrenamiento de modelos grandes, como paralelismo híbrido de datos particionados, paralelismo de tensores, puntos de comprobación de activación y descarga de activaciones. Puede utilizar la biblioteca de SMP para acelerar el entrenamiento y el refinamiento de modelos de lenguaje de gran tamaño (LLM), modelos de visión amplia (LVM) y modelos fundacionales (FM) con cientos de miles de millones de parámetros.

La biblioteca de paralelismo de modelos de SageMaker v2 (SMP v2) alinea las API y los métodos de la biblioteca con el paralelismo de datos totalmente particionado (FSDP) de PyTorch (FSDP) de código abierto, con la ventaja de optimizaciones del rendimiento de SMP con cambios mínimos en el código. Con SMP v2, puede mejorar el rendimiento de computación del entrenamiento de un modelo grande de última generación en SageMaker AI llevando sus scripts de entrenamiento de PyTorch FSDP a SageMaker AI.

Puede utilizar SMP v2 para los trabajos generales de SageMaker Training y cargas de trabajo de entrenamiento distribuidas en clústeres de Amazon SageMaker HyperPod.