Unterstützung für die Verbesserung dieser Seite beitragen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub Link Diese Seite bearbeiten auf, der sich im rechten Bereich jeder Seite befindet.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

NVIDIA-GPU-Geräte auf Amazon EKS verwalten

NVIDIA wird GPUs häufig für maschinelles Lernen, Inferenz und Hochleistungsrechner-Workloads verwendet. Amazon EKS unterstützt zwei Mechanismen für die Verwaltung von NVIDIA-GPU-Geräten in Ihren EKS-Clustern: den NVIDIA DRA-Treiber für GPUs und das NVIDIA Kubernetes-Geräte-Plug-In.

Es wird empfohlen, den NVIDIA DRA-Treiber für neue Bereitstellungen auf Clustern zu verwenden, auf denen Kubernetes Version 1.34 oder höher ausgeführt wird. Der NVIDIA DRA-Treiber ermöglicht eine flexible GPU-Zuweisung und GPU-Sharing zwischen Containern. Das NVIDIA-Geräte-Plugin wird weiterhin unterstützt.

NVIDIA-DRA-Treiber im Vergleich zum NVIDIA-Geräte-Plugin

Installieren Sie den NVIDIA DRA-Treiber

Der NVIDIA DRA-Treiber für GPUs verwaltet zwei Arten von Ressourcen: GPUs und ComputeDomains. Es werden zwei DRA-Kubelet-Plugins ausgeführt: gpu-kubelet-plugin und. compute-domain-kubelet-plugin Jedes kann während der Installation separat aktiviert oder deaktiviert werden. Dieser Leitfaden konzentriert sich auf die GPU-Zuweisung. Informationen zur Verwendung ComputeDomains finden Sie unterVerwenden Sie P6e- GB200 UltraServers mit Amazon EKS.

Die Verwendung des NVIDIA DRA-Treibers mit Bottlerocket wird derzeit nicht unterstützt.

Voraussetzungen

Verfahren

Fordere NVIDIA GPUs in einem Pod an

Um NVIDIA GPUs mithilfe des DRA-Treibers anzufordern, erstellen Sie einenResourceClaimTemplate, der auf den verweist, gpu.nvidia.com DeviceClass und referenzieren Sie ihn in Ihrer Pod-Spezifikation.

Im folgenden Beispiel wird eine einzelne GPU angefordert:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: single-gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: gpu
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: single-gpu
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

Installieren Sie das NVIDIA Kubernetes-Geräte-Plugin

Das NVIDIA Kubernetes-Geräte-Plugin bewirbt NVIDIA als erweiterte Ressourcen. GPUs nvidia.com/gpu Sie fordern Ressourcenanfragen und GPUs Grenzwerte im Container an.

Voraussetzungen

Verfahren

Fordere NVIDIA GPUs in einem Pod an

Um NVIDIA GPUs mithilfe des Geräte-Plug-ins anzufordern, geben Sie die nvidia.com/gpu Ressource in Ihren Container-Ressourcenlimits an.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

Um diesen Test auszuführen, wenden Sie das Manifest an und sehen Sie sich die Protokolle an:

kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

Eine Beispielausgabe sieht wie folgt aus.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+