Libreria SageMaker Model Parallelism v2

La libreria di parallelizzazione dei modelli di Amazon SageMaker AI è una funzionalità di SageMaker AI che consente un addestramento ottimizzato ad alte prestazioni e su larga scala su istanze a calcolo accelerato di SageMaker AI. Caratteristiche principali della libreria di parallelismo dei SageMaker modelli v2 include tecniche e ottimizzazioni che accelerano e semplificano l’addestramento dei modelli di grandi dimensioni, come la parallelizzazione ibrida dei dati sottoposti a sharding, la parallelizzazione tensoriale, il checkpoint di attivazione e l’offload di attivazione. È possibile utilizzare la libreria SMP per accelerare l’addestramento e il fine-tuning di modelli linguistici di grandi dimensioni (LLM), modelli di visione di grandi dimensioni (LVM) e modelli di fondazione (FM) con centinaia di miliardi di parametri.

La libreria SageMaker Model Parallelism v2 (SMP v2) allinea i metodi e le API della libreria con PyTorch Fully Sharded Data Parallelism (FSDP) open source, che consente di ottimizzare le prestazioni SMP con modifiche minime al codice. Con SMP v2, puoi migliorare le prestazioni di calcolo dell’addestramento di un modello di grandi dimensioni all’avanguardia su SageMaker AI, trasferendo gli script di addestramento PyTorch FSDP su SageMaker AI.

È possibile utilizzare SMP v2 per i processi di SageMaker Training generali e i carichi di lavoro di addestramento distribuito sui cluster Amazon SageMaker HyperPod.