Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation P6e-GB200 UltraServers avec Amazon EKS

Cette rubrique décrit comment configurer et utiliser Amazon EKS avec P6e-GB200 UltraServers. Le type d'p6e-gb200.36xlargeinstance avec 4 GPU NVIDIA Blackwell est uniquement disponible en tant que. P6e-GB200 UltraServers Il existe deux types de P6e-GB200 UltraServers. u-p6e-gb200x36 UltraServer Il a 9 p6e-gb200.36xlarge instances et 18 p6e-gb200.36xlarge instances. u-p6e-gb200x72 UltraServer

Pour en savoir plus, consultez la page Web Amazon EC2. P6e-GB200 UltraServers

Considérations

Éléments

Les composants suivants sont recommandés pour exécuter des charges de travail sur EKS avec le P6e-GB200 UltraServers. Vous pouvez éventuellement utiliser l'opérateur GPU NVIDIA pour installer les composants du nœud NVIDIA. Lorsque vous utilisez l'opérateur GPU NVIDIA avec l'AMI NVIDIA EKS-optimized AL2023, vous devez désactiver l'installation du pilote et du kit d'outils par l'opérateur, car ceux-ci sont déjà inclus dans l'AMI.

Les composants du nœud présentés dans le tableau ci-dessus exécutent les fonctions suivantes :

Procédure

La section suivante suppose que vous disposez d'un cluster EKS exécutant Kubernetes version 1.33 ou supérieure avec un ou plusieurs groupes de nœuds exécutant P6e-GB200 UltraServers l'AMI accélérée AL2023 ARM NVIDIA. EKS-optimized Consultez les liens ci-dessous Gérez les ressources informatiques pour les AI/ML charges de travail sur Amazon EKS pour connaître les étapes préalables relatives aux nœuds autogérés et aux groupes de nœuds gérés par EKS.

La procédure suivante utilise les composants ci-dessous.

Installer l'opérateur GPU NVIDIA

L'opérateur de GPU NVIDIA simplifie la gestion des composants nécessaires à l'utilisation des GPU dans les clusters Kubernetes. Comme le pilote GPU NVIDIA et le kit d'outils de conteneur sont installés dans le cadre de l'AMI EKS-optimized accélérée, ils doivent être définis false dans la configuration des valeurs Helm.

Installez le pilote NVIDIA DRA

À partir de la version opérateur du GPU NVIDIAv25.3.4, le pilote NVIDIA DRA doit être installé séparément. Il est recommandé de suivre les notes de mise à jour des opérateurs du GPU NVIDIA, car cela pourrait changer dans une future version.

Installez EFA pour la UltraServer communication croisée

Pour utiliser la communication EFA entre UltraServers eux, installez le pilote EFA DRA (DRANET) ou le plug-in de périphérique EFA. P6e-GB200 les instances peuvent être configurées avec un maximum de 17 cartes réseau et le NCI principal (indice 0) doit être de type interface et prendre en charge jusqu'à 100 Gbit/s de bande passante ENA. Configurez vos interfaces EFA et ENA selon vos besoins lors du provisionnement des nœuds. Consultez la AWS documentation relative à la configuration EFA pour les P6e-GB200 instances pour plus de détails sur la configuration EFA.

Option 1 : installer le pilote EFA DRA (DRANET)

Pour plus d'informations sur l'utilisation du pilote EFA DRA, notamment sur l'allocation adaptée à la topologie et le partage de périphériques, consultez. Gérez les appareils EFA sur Amazon EKS

Option 2 : installer le plug-in pour appareil EFA

Valider IMEX via Multi-Node NVLink

Pour un test NCCL NVLINK multi-nœuds et d'autres microbenchmarks, consultez le référentiel d'entraînement distribué impressionnant. GitHub Les étapes suivantes montrent comment exécuter un test NVLink à nœuds multiples avec nvbandwidth.

---
apiVersion: resource.nvidia.com/v1beta1
kind: ComputeDomain
metadata:
  name: nvbandwidth-test-compute-domain
spec:
  numNodes: 0 # This can be set to 0 from NVIDIA DRA Driver version v25.8.0+
  channel:
    resourceClaimTemplate:
      name: nvbandwidth-test-compute-domain-channel

---
apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  name: nvbandwidth-test
spec:
  slotsPerWorker: 4 # 4 GPUs per worker node
  launcherCreationPolicy: WaitForWorkersReady
  runPolicy:
    cleanPodPolicy: Running
  sshAuthMountPath: /home/mpiuser/.ssh
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-launcher
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-launcher
            securityContext:
              runAsUser: 1000
            command:
            - mpirun
            args:
            - --bind-to
            - core
            - --map-by
            - ppr:4:node
            - -np
            - "8"
            - --report-bindings
            - -q
            - nvbandwidth
            - -t
            - multinode_device_to_device_memcpy_read_ce
    Worker:
      replicas: 2 # 2 worker nodes
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-worker
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
            podAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
              - labelSelector:
                  matchExpressions:
                  - key: nvbandwidth-test-replica
                    operator: In
                    values:
                    - mpi-worker
                topologyKey: nvidia.com/gpu.clique
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-worker
            securityContext:
              runAsUser: 1000
            env:
            command:
            - /usr/sbin/sshd
            args:
            - -De
            - -f
            - /home/mpiuser/.sshd_config
            resources:
              limits:
                nvidia.com/gpu: 4  # Request 4 GPUs per worker
              claims:
              - name: compute-domain-channel # Link to IMEX channel
          resourceClaims:
          - name: compute-domain-channel
            resourceClaimTemplateName: nvbandwidth-test-compute-domain-channel

+. Créez le ComputeDomain et lancez-le avec la commande suivante.

+

kubectl apply -f nvbandwidth-test-job.yaml

+. ComputeDomain création, vous pouvez voir que la charge de travail ComputeDomain comporte deux nœuds :

+

kubectl get computedomains.resource.nvidia.com -o yaml

+

status:
  nodes:
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  status: Ready

+. Passez en revue les résultats de la tâche à l'aide de la commande suivante.

+

kubectl logs --tail=-1 -l job-name=nvbandwidth-test-launcher

+ Un test réussi affiche les statistiques de bande passante GB/s pour le test memcpy multi-nœuds. Un exemple de résultat de test réussi est présenté ci-dessous.

+

...
nvbandwidth Version: ...
Built from Git version: ...

MPI version: ...
CUDA Runtime Version: ...
CUDA Driver Version: ...
Driver Version: ...

Process 0 (nvbandwidth-test-worker-0): device 0: NVIDIA GB200 (...)
Process 1 (nvbandwidth-test-worker-0): device 1: NVIDIA GB200 (...)
Process 2 (nvbandwidth-test-worker-0): device 2: NVIDIA GB200 (...)
Process 3 (nvbandwidth-test-worker-0): device 3: NVIDIA GB200 (...)
Process 4 (nvbandwidth-test-worker-1): device 0: NVIDIA GB200 (...)
Process 5 (nvbandwidth-test-worker-1): device 1: NVIDIA GB200 (...)
Process 6 (nvbandwidth-test-worker-1): device 2: NVIDIA GB200 (...)
Process 7 (nvbandwidth-test-worker-1): device 3: NVIDIA GB200 (...)

Running multinode_device_to_device_memcpy_read_ce.
memcpy CE GPU(row) -> GPU(column) bandwidth (GB/s)
           0         1         2         3         4         5         6         7
 0       N/A    821.45    822.18    821.73    822.05    821.38    822.61    821.89
 1    822.34       N/A    821.67    822.12    821.94    820.87    821.53    822.08
 2    821.76    822.29       N/A    821.58    822.43    821.15    821.82    822.31
 3    822.19    821.84    822.05       N/A    821.67    821.23    820.95    822.47
 4    821.63    822.38    821.49    822.17       N/A    821.06    821.78    822.22
 5    822.08    821.52    821.89    822.35    821.27       N/A    821.64    822.13
 6    821.94    822.15    821.68    822.04    821.39    820.92       N/A    822.56
 7    822.27    821.73    822.11    821.86    822.38    821.04    821.49       N/A

SUM multinode_device_to_device_memcpy_read_ce ...

NOTE: The reported results may not reflect the full capabilities of the platform.
Performance can vary with software drivers, hardware clocks, and system topology.

+. Lorsque le test est terminé, supprimez-le à l'aide de la commande suivante.

+

kubectl delete -f nvbandwidth-test-job.yaml