Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise en route avec l’entraînement distribué dans Amazon SageMaker AI

La page suivante fournit des informations sur les étapes nécessaires pour commencer à utiliser l’entraînement distribué dans Amazon SageMaker AI. Si vous connaissez déjà l'entraînement distribué, choisissez l'option, parmi les suivantes, qui correspond à votre stratégie ou votre framework préférés pour commencer. Si vous souhaitez en savoir plus sur l'entraînement distribué en général, consultez Concepts d’entraînement distribué.

Les bibliothèques d’entraînement distribué SageMaker AI sont optimisées pour l’environnement d’entraînement SageMaker. Elles vous aident à adapter vos tâches d’entraînement distribué à SageMaker AI et à améliorer la vitesse et le débit d’entraînement. Les offrent des stratégies d'entraînement parallèle de données et de modèles. Elles combinent des technologies logicielles et matérielles pour améliorer les communications entre les GPU et les nœuds, et étendent les capacités d’entraînement de SageMaker AI grâce à des options intégrées qui ne nécessitent que de légères modifications du code de vos scripts d’entraînement. 

Avant de commencer

L'entraînement SageMaker prend en charge l'entraînement distribué sur une seule instance ainsi que sur plusieurs instances, afin que vous puissiez exécuter des entraînements de toutes tailles à grande échelle. Nous vous recommandons d'utiliser les classes d'estimateur de framework telles que PyTorch et TensorFlow dans le kit SageMaker Python SDK, qui sont des lanceurs de tâches d'entraînement proposant diverses options d'entraînement distribué. Lorsque vous créez un objet estimateur, celui-ci configure une infrastructure d’entraînement distribué, exécute l’API CreateTrainingJob dans le système dorsal, trouve la région dans laquelle se déroule votre session en cours et extrait l’un des conteneurs de deep learning AWS prédéfinis, pré-empaquetés avec un certain nombre de bibliothèques, notamment des cadres de deep learning, des cadres d’entraînement distribué et le pilote EFA. Si vous souhaitez monter un système de fichiers FSx sur les instances d'entraînement, vous devez transmettre votre sous-réseau de VPC et votre ID de groupe de sécurité à l'estimateur. Avant d’exécuter votre tâche d’entraînement distribué dans SageMaker AI, lisez les instructions générales suivantes sur la configuration de base de l’infrastructure.

Zones de disponibilité et fond de panier réseau

Lorsque vous disposez de plusieurs instances (également appelées nœuds), il est important de comprendre le réseau qui les connecte et la façon dont elles lisent les données d’entraînement et partagent mutuellement les informations. Par exemple, lorsque vous exécutez une tâche d'entraînement de parallélisme de données distribué, un certain nombre de facteurs, tels que la communication entre les nœuds d'un cluster de calcul pour exécuter l'opération AllReduce et le transfert de données entre les nœuds et le stockage de données dans Amazon Simple Storage Service ou Amazon FSx pour Lustre, jouent un rôle crucial pour optimiser l'utilisation des ressources de calcul et accélérer la vitesse d'entraînement. Pour réduire les frais de communication, assurez-vous de configurer les instances, le sous-réseau du VPC et le stockage de données dans les mêmes Région AWS et zone de disponibilité.

Instances de GPU avec réseau plus rapide et stockage à haut débit

Techniquement, vous pouvez utiliser n'importe quelle instance pour un entraînement distribué. Dans les cas où vous devez exécuter des tâches d’entraînement distribué sur plusieurs nœuds pour entraîner de grands modèles, tels que les grands modèles de langage (LLM) et les modèles de diffusion, qui nécessitent une commutation inter-nœuds plus rapide, nous recommandons les instances de GPU compatibles avec EFA prises en charge par SageMaker AI. En particulier, pour réaliser la tâche d’entraînement distribué SageMaker AI la plus performante, nous recommandons les instances P4d et P4de équipées de GPU NVIDIA A100. Elles sont également équipées d'un stockage d'instance local à haut débit et à faible latence et d'un réseau intra-nœud plus rapide. Pour le stockage de données, nous recommandons Amazon FSx pour Lustre, qui fournit un débit élevé pour le stockage des jeux de données d'entraînement et des points de contrôle des modèles.

Utilisation de la bibliothèque SageMaker AI de parallélisme distribué des données (SMDDP)

La bibliothèque SMDDP améliore la communication entre les nœuds avec des implémentations d’opérations de communication collective AllReduce et AllGather optimisées pour l’infrastructure réseau AWS et la topologie d’instance de machine learning Amazon SageMaker AI. Vous pouvez utiliser la bibliothèque SMDDP comme système dorsal des packages d’entraînement distribué basés sur PyTorch : PyTorch Distributed Data Parallel (DDP), PyTorch Fully Sharded Data Parallelism (FSDP), DeepSpeed et Megatron-DeepSpeed. L’exemple de code suivant montre comment définir un estimateur PyTorch pour lancer une tâche d’entraînement distribué sur deux instances ml.p4d.24xlarge.

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Pour découvrir comment préparer votre script d’entraînement et lancer une tâche d’entraînement distribué de parallélisme des données sur SageMaker AI, consultez Exécution d’entraînements distribués avec la bibliothèque SageMaker AI de parallélisme distribué des données.

Utilisation de la bibliothèque SageMaker AI de parallélisme des modèles (SMP)

SageMaker fournit la bibliothèque SMP et prend en charge diverses techniques d’entraînement distribué, telles que le parallélisme partitionné des données, le parallélisme de pipeline, le parallélisme de tenseur, le partitionnement de l’état de l’optimiseur, etc. Pour en savoir plus sur ce que la bibliothèque SMP propose, consultez Principales fonctions de la bibliothèque de parallélisme de modèles SageMaker.

Pour utiliser la bibliothèque SageMaker AI de parallélisme des modèles, configurez le paramètre distribution des estimateurs du cadre SageMaker AI. Les estimateurs de cadre pris en charge sont PyTorch et TensorFlow. L'exemple de code suivant montre comment construire un estimateur de cadre pour l'entraînement distribué à l'aide de la bibliothèque de parallélisme de modèles sur deux instances ml.p4d.24xlarge.

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Pour découvrir comment adapter votre script d’entraînement, configurer les paramètres de distribution dans la classe estimator et lancer une tâche d’entraînement distribué, consultez la bibliothèque SageMaker AI de parallélisme des modèles (consultez également Distributed Training APIs dans la documentation du kit SageMaker Python SDK).

Utilisation des frameworks d'entraînement distribué open source

SageMaker AI prend également en charge les options suivantes pour faire fonctionner mpirun et torchrun dans le système dorsal.