Aidez à améliorer cette page

Pour contribuer à ce guide de l’utilisateur, cliquez sur le lien Modifier cette page sur GitHub qui se trouve dans le volet droit de chaque page.

Exécuter un entraînement de machine learning sur Amazon EKS avec Elastic Fabric Adapter

Cette rubrique décrit comment intégrer Elastic Fabric Adapter (EFA) aux pods déployés dans votre cluster Amazon EKS. Elastic Fabric Adapter (EFA) est une interface réseau pour les instances Amazon EC2 qui vous permet d'exécuter des applications nécessitant des niveaux élevés de communications inter-nœuds à grande échelle sur AWS. Son interface matérielle sur mesure de contournement du système d'exploitation améliore les performances des communications entre instances, ce qui est essentiel à la mise à l'échelle de ces applications. Avec EFA, les applications de calcul haute performance (HPC) utilisant MPI (Message Passing Interface) et les applications de ML (Machine Learning) utilisant NVIDIA Collective Communications Library (NCCL) peuvent avoir une capacité de mise à l'échelle pouvant atteindre des milliers de CPU ou de GPU. Par conséquent, vous bénéficiez des performances applicatives des clusters HPC sur site grâce à l'élasticité et à la flexibilité à la demande du cloud AWS. L'intégration d'EFA aux applications exécutées sur des clusters Amazon EKS permet de réduire le temps nécessaire à l'exécution des applications d'entraînement distribué à grande échelle sans avoir à ajouter d'autres instances à votre cluster. Pour plus d'informations sur l'EFA, consultez Elastic Fabric Adapter.

Types d’instances avec EFA

Le plug-in AWS EFA Kubernetes Device Plug-in prend en charge tous les types d’instances Amazon EC2 qui disposent d’EFA. Pour consulter la liste de tous les types d’instances qui disposent d’EFA, consultez Types d’instances pris en charge dans le Guide de l’utilisateur Amazon EC2. Toutefois, pour exécuter rapidement des applications ML, nous recommandons que l’instance dispose de puces d’accélération matérielle telles que les GPU nVidia, les puces AWS Inferentia ou les puces AWS Trainium, en plus de l’EFA. Pour obtenir la liste des types d’instances disposant de puces d’accélération matérielle et d’EFA, consultez Calcul accéléré dans le Guide de l’utilisateur Amazon EC2.

Lorsque vous comparez les types d’instance afin de faire votre choix, tenez compte du nombre de cartes réseau EFA disponibles pour ce type d’instance, ainsi que du nombre de cartes accélératrices, de la quantité de CPU et de la quantité de mémoire. Vous pouvez attribuer un EFA maximum par carte réseau. Une EFA compte comme une interface réseau. Pour connaître le nombre d’EFA disponibles pour chaque type d’instance disposant d’EFA, consultez la liste des cartes réseau dans le Guide de l’utilisateur Amazon EC2.

Interfaces EFA et EFA uniquement

Un Elastic Fabric Adapter (EFA) est une interface réseau qui combine les capacités d’un adaptateur réseau élastique (ENA) et d’une interface de contournement du système d’exploitation, alimentée par le protocole AWS Scalable Reliable Datagram (SRD). Les fonctionnalités EFA permettent aux applications de communiquer directement avec le matériel pour un transport à faible latence. Vous pouvez choisir d’accéder uniquement aux capacités EFA à l’aide d’interfaces EFA uniquement, limitant ainsi la communication aux interfaces au sein de la même zone de disponibilité.

Pour créer des nœuds pouvant disposer d’interfaces EFA uniquement, vous devez utiliser un modèle de lancement EC2 personnalisé et définir le InterfaceType sur efa-only. Dans votre modèle de lancement personnalisé, vous ne pouvez pas définir la carte réseau 0 comme interface EFA uniquement, car il s’agit de la carte réseau principale et de l’interface réseau de l’instance EC2. Vous devez disposer de la version 1.18.5 ou ultérieure de CNI VPC pour les interfaces EFA uniquement. Si vous utilisez Amazon Linux 2, la version ami doit être v20240928 ou ultérieure pour les interfaces EFA uniquement.

La procédure suivante vous guide dans la création d’un cluster EKS avec eksctl avec des nœuds dotés de GPU nVidia et d’interfaces EFA. Vous ne pouvez pas utiliser eksctl pour créer des nœuds et des groupes de nœuds qui utilisent des interfaces EFA uniquement.

Prérequis

Créer un groupe de nœuds

La procédure suivante vous aide à créer un groupe de nœuds avec un groupe de nœuds soutenu p4d.24xlarge en utilisant des interfaces EFA et GPUDirect RDMA. Elle permet aussi d'exécuter un exemple de test NVIDIA Collective Communications Library (NCCL) pour les performances NCCL multi-nœuds à l'aide des EFA. Cet exemple peut être utilisé comme modèle d'entraînement de deep learning distribué sur Amazon EKS à l'aide des EFA.

Utilisation de Bottlerocket avec EFA

La version 1.28.0 et les versions ultérieures de l’AMI Bottlerocket incluent la prise en charge officielle d’EFA. Pour utiliser Bottlerocket pour les nœuds compatibles EFA, spécifiez amiFamily: Bottlerocket dans votre configuration. Si vous devez utiliser un identifiant AMI personnalisé, vous devez utiliser des nodeGroups standard au lieu de managedNodeGroups.

Voici un exemple de configuration :

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: my-efa-bottlerocket-cluster
  region: region-code
  version: "1.XX"

iam:
  withOIDC: true

availabilityZones: ["us-west-2a", "us-west-2c"]

managedNodeGroups:
  - name: my-efa-bottlerocket-ng
    instanceType: p5.48xlarge
    minSize: 1
    desiredCapacity: 2
    maxSize: 3
    availabilityZones: ["us-west-2a"]
    volumeSize: 300
    privateNetworking: true
    efaEnabled: true
    amiFamily: Bottlerocket
    bottlerocket:
      enableAdminContainer: true
      settings:
        kernel:
          sysctl:
            "vm.nr_hugepages": "3000"  # Configures 3000 * 2Mi = 6000Mi hugepages

Le paramètre sysctl vm.nr_hugepages ci-dessus configure le nombre de pages géantes de 2 Mi. Dans cet exemple, 3000 signifie 3000 * 2 Mi = 6000 Mi de pages géantes.

Vérifier l’installation du plug-in de périphérique EFA

Lorsque vous créez un groupe de nœuds avec efaEnabled: true, eksctl déploie automatiquement le plug-in du périphérique Kubernetes EFA pour vous. Vous pouvez vérifier que le plug-in de périphérique est installé et fonctionne correctement :

(Facultatif) Tester les performances de l’EFA

Nous vous recommandons de tester la configuration EFA. Vous pouvez utiliser les tests NCCL dans le référentiel aws-samples/awsome-distributed-training sur GitHub. Les tests NCCL évaluent les performances du réseau à l’aide de la bibliothèque Nvidia Collective Communication Library. Les étapes suivantes permettent de soumettre des tests NCCL sur Amazon EKS.

Si le test s’est terminé avec succès, vous pouvez déployer vos applications qui utilisent la bibliothèque Nvidia Collective Communication Library.