Principales fonctionnalités de la bibliothèque de parallélisme de SageMaker modèles v2

La bibliothèque de parallélisme des modèles Amazon SageMaker AI v2 (SMP v2) propose des stratégies de distribution et des techniques d'économie de mémoire, telles que le parallélisme des données fragmentées, le parallélisme des tenseurs et le point de contrôle. Les stratégies et techniques de parallélisme des modèles proposées par SMP v2 permettent de distribuer de grands modèles sur plusieurs appareils tout en optimisant la vitesse d’entraînement et la consommation de mémoire. SMP v2 fournit également un package Python torch.sagemaker pour vous aider à adapter votre script d’entraînement en modifiant quelques lignes de code.

Ce guide suit le flux de base en deux étapes introduit dans Utilisation de la bibliothèque SageMaker de parallélisme des modèles v2. Pour plus de détails sur les caractéristiques de base de SMP v2 et leur utilisation, consultez les rubriques suivantes.