Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérez les appareils GPU NVIDIA sur Amazon EKS

GPUs Les cartes NVIDIA sont largement utilisées pour la formation au machine learning, l'inférence et les charges de travail informatiques hautes performances. Amazon EKS prend en charge deux mécanismes pour gérer les périphériques GPU NVIDIA dans vos clusters EKS : le pilote NVIDIA DRA pour GPUs et le plug-in de périphérique NVIDIA Kubernetes.

Il est recommandé d'utiliser le pilote NVIDIA DRA pour les nouveaux déploiements sur des clusters exécutant Kubernetes version 1.34 ou ultérieure. Le pilote NVIDIA DRA permet une allocation et un partage de GPU flexibles entre les conteneurs. Le plug-in pour appareil NVIDIA reste compatible.

Pilote NVIDIA DRA et plug-in de périphérique NVIDIA

Installez le pilote NVIDIA DRA

Le pilote NVIDIA DRA pour GPUs gérer deux types de ressources : GPUs et ComputeDomains. Il exécute deux plugins DRA kubelet : gpu-kubelet-plugin et. compute-domain-kubelet-plugin Chacune peut être activée ou désactivée séparément lors de l'installation. Ce guide se concentre sur l'allocation du GPU. Pour l'utilisation ComputeDomains, voirUtiliser P6e- GB200 UltraServers avec Amazon EKS.

L'utilisation du pilote NVIDIA DRA avec Bottlerocket n'est actuellement pas prise en charge.

Conditions préalables

Procédure

Demandez NVIDIA GPUs in a Pod

Pour demander à NVIDIA GPUs d'utiliser le pilote DRA, créez un pilote ResourceClaimTemplate qui le référence gpu.nvidia.com DeviceClass et le référencez dans les spécifications de votre Pod.

L'exemple suivant demande un seul GPU :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: single-gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: gpu
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: single-gpu
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

Installez le plugin pour appareil NVIDIA Kubernetes

Le plugin pour appareil NVIDIA Kubernetes présente NVIDIA GPUs en tant que ressources étendues. nvidia.com/gpu Vous demandez GPUs dans le conteneur des demandes et des limites de ressources.

Conditions préalables

Procédure

Demandez NVIDIA GPUs in a Pod

Pour demander à NVIDIA GPUs d'utiliser le plug-in de l'appareil, spécifiez la nvidia.com/gpu ressource dans les limites de ressources de votre conteneur.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

Pour exécuter ce test, appliquez le manifeste et consultez les journaux :

kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

L'exemple qui suit illustre un résultat.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+