Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Commencez par une formation distribuée sur Amazon SageMaker AI

La page suivante fournit des informations sur les étapes nécessaires pour commencer à utiliser la formation distribuée dans Amazon SageMaker AI. Si vous connaissez déjà l'entraînement distribué, choisissez l'option, parmi les suivantes, qui correspond à votre stratégie ou votre framework préférés pour commencer. Si vous souhaitez en savoir plus sur l'entraînement distribué en général, consultez Concepts d’entraînement distribué.

Les bibliothèques de formation distribuées basées sur l' SageMaker IA sont optimisées pour l'environnement de SageMaker formation, aident à adapter vos tâches de formation distribuées à l' SageMaker IA et améliorent la vitesse et le débit d'entraînement. Les offrent des stratégies d'entraînement parallèle de données et de modèles. Ils combinent des technologies logicielles et matérielles pour améliorer les communications entre les GPU et les nœuds, et étendent les capacités d'entraînement de l' SageMaker IA grâce à des options intégrées qui nécessitent un minimum de modifications du code de vos scripts d'entraînement. 

Avant de commencer

SageMaker La formation prend en charge la formation distribuée sur une seule instance ainsi que sur plusieurs instances, de sorte que vous pouvez exécuter des formations de n'importe quelle taille à grande échelle.

Nous vous recommandons d'utiliser la ModelTrainer classe avec PyTorch et TensorFlow dans le SDK SageMaker Python, qui sont des lanceurs de tâches de formation proposant diverses options de formation distribuées. Lorsque vous créez un ModelTrainer objet, celui-ci configure une infrastructure de formation distribuée, exécute l'CreateTrainingJobAPI dans le backend, trouve la région dans laquelle s'exécute votre session en cours et extrait l'un des conteneurs d'apprentissage AWS profond prédéfinis contenant un certain nombre de bibliothèques, notamment des cadres de deep learning, des cadres de formation distribués et le pilote EFA. Si vous souhaitez monter un système de fichiers FSx sur les instances de formation, vous devez transmettre votre identifiant de sous-réseau VPC et de groupe de sécurité au. ModelTrainer

Avant d'exécuter votre tâche de formation distribuée en SageMaker IA, lisez les instructions générales suivantes concernant la configuration de base de l'infrastructure.

Zones de disponibilité et fond de panier réseau

Lorsque vous disposez de plusieurs instances (également appelées nœuds), il est important de comprendre le réseau qui les connecte et la façon dont elles lisent les données d’entraînement et partagent mutuellement les informations. Par exemple, lorsque vous exécutez une tâche d'entraînement de parallélisme de données distribué, un certain nombre de facteurs, tels que la communication entre les nœuds d'un cluster de calcul pour exécuter l'opération AllReduce et le transfert de données entre les nœuds et le stockage de données dans Amazon Simple Storage Service ou Amazon FSx pour Lustre, jouent un rôle crucial pour optimiser l'utilisation des ressources de calcul et accélérer la vitesse d'entraînement. Pour réduire les frais de communication, assurez-vous de configurer les instances, le sous-réseau VPC et le stockage des données dans la même Région AWS zone de disponibilité.

Instances de GPU avec réseau plus rapide et stockage à haut débit

Techniquement, vous pouvez utiliser n'importe quelle instance pour un entraînement distribué. Dans les cas où vous devez exécuter des tâches de formation distribuées multi-nœuds pour entraîner de grands modèles, tels que les grands modèles de langage (LLM) et les modèles de diffusion, qui nécessitent une commutation inter-nœuds plus rapide, nous recommandons les instances EFA-enabled GPU prises en charge par l'IA. SageMaker En particulier, pour réaliser la tâche de formation distribuée la plus performante en matière d' SageMaker IA, nous recommandons les instances P4d et P4de équipées de GPU NVIDIA A100. Elles sont également équipées d'un stockage d'instance local à haut débit et à faible latence et d'un réseau intra-nœud plus rapide. Pour le stockage de données, nous recommandons Amazon FSx pour Lustre, qui fournit un débit élevé pour le stockage des jeux de données d'entraînement et des points de contrôle des modèles.

Utiliser la bibliothèque SageMaker AI Distributed Data Parallelism (SMDDP)

La bibliothèque SMDDP améliore la communication entre les nœuds grâce à des implémentations AllReduce et à des opérations de communication AllGather collectives optimisées pour l'infrastructure AWS réseau et la topologie des instances Amazon SageMaker AI ML. Vous pouvez utiliser la bibliothèque SMDDP comme backend de modules de formation PyTorch-based distribués  : parallèle de données PyTorch distribué (DDP), parallélisme de données PyTorch entièrement partagé (FSDP), et. DeepSpeed Megatron-DeepSpeed L’exemple de code suivant montre comment définir un estimateur PyTorch pour lancer une tâche d’entraînement distribué sur deux instances ml.p4d.24xlarge.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    # Activate distributed training with SMDDP
    distributed=Torchrun()
)

Pour savoir comment préparer votre script de formation et lancer une tâche de formation parallèle aux données distribuées sur l' SageMaker IA, consultezOrganisez une formation distribuée avec la bibliothèque de parallélisme de données distribué basée sur l' SageMaker IA.

Utiliser la bibliothèque de parallélisme des modèles d' SageMaker IA (SMP)

SageMaker L'IA fournit la bibliothèque SMP et prend en charge diverses techniques d'entraînement distribuées, telles que le parallélisme des données partitionnées, le pipelining, le parallélisme des tenseurs, le partitionnement de l'état de l'optimiseur, etc. Pour en savoir plus sur ce que la bibliothèque SMP propose, consultez Caractéristiques principales de la bibliothèque de parallélisme des SageMaker modèles.

Pour utiliser la bibliothèque de parallélisme des modèles d' SageMaker AI, configurez le distribution paramètre des estimateurs du framework SageMaker AI.

La ModelTrainer classe prend en charge PyTorch et TensorFlow. L'exemple de code suivant montre comment créer un programme ModelTrainer d'entraînement distribué avec la bibliothèque de parallélisme des modèles sur deux ml.p4d.24xlarge instances.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute
from sagemaker.train.distributed import Torchrun

model_trainer = ModelTrainer(
    ...,
    compute=Compute(instance_count=2, instance_type="ml.p4d.24xlarge"),
    distributed=Torchrun()
)

Pour savoir comment adapter votre script d'entraînement, configurer les paramètres de distribution en estimator classe et lancer une tâche de formation distribuée, consultez la bibliothèque de parallélisme des modèles d'SageMaker AI (voir également les API de formation distribuée dans la documentation du SDK SageMaker Python).

Utilisation des frameworks d'entraînement distribué open source

SageMaker L'IA prend également en charge les options suivantes pour fonctionner mpirun et torchrun dans le backend.