Contribuisci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestisci i dispositivi GPU NVIDIA su Amazon EKS

NVIDIA GPUs è ampiamente utilizzata per la formazione sull'apprendimento automatico, l'inferenza e i carichi di lavoro di elaborazione ad alte prestazioni. Amazon EKS supporta due meccanismi per la gestione dei dispositivi GPU NVIDIA nei cluster EKS: il driver NVIDIA DRA per GPUs e il plug-in per dispositivi NVIDIA Kubernetes.

Si consiglia di utilizzare il driver NVIDIA DRA per nuove implementazioni su cluster che eseguono Kubernetes versione 1.34 o successiva. Il driver NVIDIA DRA consente l'allocazione flessibile della GPU e la condivisione della GPU tra contenitori. Il plug-in per dispositivi NVIDIA rimane supportato.

Driver NVIDIA DRA e plug-in per dispositivi NVIDIA

Installa il driver NVIDIA DRA

Il driver NVIDIA DRA per la GPUs gestione di due tipi di risorse: e. GPUs ComputeDomains Esegue due plugin DRA kubelet: e. gpu-kubelet-plugin compute-domain-kubelet-plugin Ciascuno può essere abilitato o disabilitato separatamente durante l'installazione. Questa guida si concentra sull'allocazione delle GPU. Per l'utilizzo ComputeDomains, vedere. Usa P6e- con GB200 UltraServers Amazon EKS

L'utilizzo del driver NVIDIA DRA con Bottlerocket non è attualmente supportato.

Prerequisiti

Procedura

Richiedi NVIDIA GPUs in un Pod

Per richiedere a NVIDIA di GPUs utilizzare il driver DRA, creane uno ResourceClaimTemplate che faccia riferimento a gpu.nvidia.com DeviceClass e fallo riferimento nelle specifiche del tuo Pod.

L'esempio seguente richiede una singola GPU:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: single-gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: gpu
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: single-gpu
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

Installa il plug-in per dispositivi NVIDIA Kubernetes

Il plug-in per dispositivi NVIDIA Kubernetes pubblicizza NVIDIA come risorse estese. GPUs nvidia.com/gpu Richiedete GPUs nel container le richieste e i limiti delle risorse.

Prerequisiti

Procedura

Richiedi NVIDIA GPUs in un Pod

Per richiedere NVIDIA GPUs utilizzando il plug-in del dispositivo, specifica la nvidia.com/gpu risorsa nei limiti delle risorse del contenitore.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

Per eseguire questo test, applica il manifesto e visualizza i log:

kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

Di seguito viene riportato un output di esempio.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+