Verwenden Sie Mehrinstanz-GPUs (MIG) mit NVIDIA-GPUs auf Amazon EKS

Erstellen Sie eineResourceClaimTemplate, die eine MIG-Instanz von der anfordert mig.nvidia.comDeviceClass, und einen Pod, der darauf verweist. In diesem Beispiel wird jede verfügbare MIG-Instanz angefordert, ohne das Profil einzuschränken.

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: mig-profile-any
spec:
  spec:
    devices:
      requests:
      - name: mig
        exactly:
          deviceClassName: mig.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: mig-dra-pod
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: mig
  resourceClaims:
    - name: mig
      resourceClaimTemplateName: mig-profile-any
  restartPolicy: OnFailure
EOF

Stellen Sie sicher, dass dem Pod eine einzelne MIG-Instance zugewiesen wurde.

kubectl logs mig-dra-pod

Eine Beispielausgabe sieht wie folgt aus. Der Pod sieht eine MIG-Instanz von der partitionierten GPU.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-edd63844-8488-f76a-f6e0-1027a7319a88)
  MIG 2g.10gb     Device  0: (UUID: MIG-a5ad493e-e7e8-5675-9381-1d0f5311a456)

Erstellen Sie ein EC2NodeClass und NodePool für AL2023 P-family GPU-Knoten. Bei AL2023 wird die MIG-Partitionierung in späteren Schritten vom GPU-Operator angewendet, es handelt sich also um eine standardmäßige AL2023 GPU-Knotenklasse. Das folgende Beispiel stellt p4d.24xlarge Knoten mit dem EKS-optimized AL2023 NVIDIA-AMI bereit.

cat <<EOF | kubectl apply -f -
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: gpu-mig-al2023
spec:
  amiFamily: AL2023
  amiSelectorTerms:
    - alias: al2023@latest
  role: eksctl-KarpenterNodeRole-<cluster-name>
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  tags:
    karpenter.sh/discovery: <cluster-name>
---
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: gpu-mig-al2023
spec:
  template:
    spec:
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: gpu-mig-al2023
      taints:
        - key: nvidia.com/gpu
          effect: NoSchedule
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["spot", "on-demand"]
        - key: node.kubernetes.io/instance-type
          operator: In
          values: ["p4d.24xlarge"]
        - key: kubernetes.io/arch
          operator: In
          values: ["amd64"]
  limits:
    cpu: 1000
    memory: 5000Gi
EOF

Fügen Sie das NVIDIA Helm-Repository hinzu.

helm repo add nvidia https://nvidia.github.io/gpu-operator
helm repo update

Erstellen Sie eine gpu-operator-values.yaml Datei, die die Treiberverwaltung deaktiviert, die gemischte Strategie auswählt und die anzuwendenden MIG-Profile definiert. Das folgende Beispiel definiert eine p4d-half-balanced Konfiguration, bei der vier der acht GPUs auf einem p4d.24xlarge Knoten partitioniert werden und der Rest vollständig bleibt.

cat <<EOF > gpu-operator-values.yaml
driver:
  enabled: false
toolkit:
  enabled: false
devicePlugin:
  enabled: true
nfd:
  enabled: true
gfd:
  enabled: true
mig:
  strategy: mixed
migManager:
  enabled: true
  env:
    - name: WITH_REBOOT
      value: "true"
  config:
    create: true
    name: custom-mig-parted-configs
    default: all-disabled
    data:
      config.yaml: |-
        version: v1
        mig-configs:
          all-disabled:
            - devices: all
              mig-enabled: false
          p4d-half-balanced:
            - devices: [0, 1, 2, 3]
              mig-enabled: true
              mig-devices:
                "1g.5gb": 2
                "2g.10gb": 1
                "3g.20gb": 1
            - devices: [4, 5, 6, 7]
              mig-enabled: false
EOF

Installieren Sie den GPU-Operator mit der Wertedatei.

helm install gpu-operator nvidia/gpu-operator \
    --namespace gpu-operator \
    --create-namespace \
    --values gpu-operator-values.yaml

Benennen Sie Ihre MIG-capable Knoten mit der anzuwendenden Profilkonfiguration. Die MIG Manager-Komponente achtet auf dieses Label und partitioniert die GPUs entsprechend. Sie startet den Knoten neu, um die Änderung zu übernehmen.

kubectl label nodes -l node.kubernetes.io/instance-type=p4d.24xlarge \
    nvidia.com/mig.config=p4d-half-balanced --overwrite

Nachdem der GPU-Operator die GPUs partitioniert hat, fordern Pods ein bestimmtes MIG-Profil nicht anhand des Ressourcennamens an. nvidia.com/gpu Im folgenden Beispiel wird ein Pod ausgeführt, der eine 1g.5gb Instanz anfordert.

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: mig-inference
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        limits:
          nvidia.com/mig-1g.5gb: 1
EOF

Vergewissern Sie sich, dass der Knoten MIG-Ressourcen ankündigt. Bei der Einzelstrategie meldet der Knoten die Instanzen alsnvidia.com/gpu. Bei der gemischten Strategie meldet der Knoten profilspezifische Ressourcen, z. B. nvidia.com/mig-1g.10gb

kubectl describe node <node-name> | grep nvidia.com

Führen Sie die Ausführung nvidia-smi von einem Pod auf einem MIG-enabled Knoten aus, um zu bestätigen, dass der MIG-Modus aktiv ist.

nvidia-smimeldet GPUs, MIG M.: Enabled bei denen der MIG-Modus aktiviert ist, und listet die jeweils konfigurierten MIG-Instanzen auf. Im Folgenden finden Sie ein Beispiel für die Ausgabe einer A100-GPU mit 40 GB, bei der MIG aktiviert und in 3g.20gb 2g.10gb ,- und partitioniert ist. 1g.5gb

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.159.03             Driver Version: 580.159.03     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A100-SXM4-40GB          On  |   00000000:10:1C.0 Off |                   On |
| N/A   35C    P0             65W /  400W |     213MiB /  40960MiB |     N/A      Default |
|                                         |                        |              Enabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| MIG devices:                                                                            |
+------------------+----------------------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |              Shared Memory-Usage |        Vol|        Shared         |
|      ID  ID  Dev |                Shared BAR1-Usage | SM     Unc| CE ENC  DEC  OFA  JPG |
|                  |                                  |        ECC|                       |
|==================+==================================+===========+=======================|
|  0    1   0   0  |             107MiB / 20096MiB    | 42      0 |  3   0    2    0    0 |
|                  |               0MiB / 12211MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+
|  0    5   0   1  |              71MiB /  9984MiB    | 28      0 |  2   0    1    0    0 |
|                  |               0MiB /  6105MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+
|  0   13   0   2  |              36MiB /  4864MiB    | 14      0 |  1   0    0    0    0 |
|                  |               0MiB /  3052MiB    |           |                       |
+------------------+----------------------------------+-----------+-----------------------+

Bei der gemischten Strategie sieht ein Pod nur die MIG-Instance, die er angefordert hat, nicht das vollständige GPU-Layout des Knotens. Der mig-inference Pod aus dem vorherigen Schritt hat eine nvidia.com/mig-1g.5gb Instanz angefordert, sodass nvidia-smi -L in diesem Pod ein einzelnes MIG-Gerät aufgeführt ist.

kubectl logs mig-inference

Eine Beispielausgabe sieht wie folgt aus.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-5b7ce860-1951-004c-4881-6ac6997df770)
  MIG 1g.5gb      Device  0: (UUID: MIG-9b065868-21b6-5b8d-8ab9-e99089ed472c)

Um das vollständige Partitionslayout jeder GPU auf einem Knoten zu sehen, führen Sie den Vorgang nvidia-smi -L auf dem Host aus und nicht in einem Workload-Pod. Der folgende Befehl startet einen privilegierten Debugging-Pod auf dem Knoten und führt den Pod des nvidia-smi Hosts aus. node-nameErsetzen Sie ihn durch den Namen Ihres MIG-enabled Knotens.

kubectl debug node/<node-name> -it --profile=sysadmin --image=nvidia/cuda:12.6.0-base-ubuntu22.04 -- chroot /host nvidia-smi -L

Das Folgende ist eine Beispielausgabe für die p4d-half-balanced Konfiguration. Die ersten vier GPUs sind in MIG-Instances partitioniert, und die verbleibenden vier sind ganze GPUs. Jede MIG Zeile ist eine hardwaresolierte Instanz mit eigener UUID, eigenem Speicher und eigenen Rechenbereichen.

GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-5b7ce860-1951-004c-4881-6ac6997df770)
  MIG 3g.20gb     Device  0: (UUID: MIG-7dc16162-7ba2-5894-abde-d753dc8ecf56)
  MIG 2g.10gb     Device  1: (UUID: MIG-56cfe1f0-0662-50e4-a5f7-111107e4d5e6)
  MIG 1g.5gb      Device  2: (UUID: MIG-1409727e-2ffa-5fd4-9586-204c9e2b36d5)
  MIG 1g.5gb      Device  3: (UUID: MIG-9b065868-21b6-5b8d-8ab9-e99089ed472c)
GPU 1: NVIDIA A100-SXM4-40GB (UUID: GPU-73692a43-dd2d-f1a1-b0df-2f4734e2a87d)
  MIG 3g.20gb     Device  0: (UUID: MIG-745fd93a-9582-57a6-8b3b-9782d289ca1b)
  MIG 2g.10gb     Device  1: (UUID: MIG-8440294e-c4a0-5687-add5-2cc506babb2f)
  MIG 1g.5gb      Device  2: (UUID: MIG-559810c0-f2bb-5ca2-b529-47228d99437f)
  MIG 1g.5gb      Device  3: (UUID: MIG-a91cf3f9-6459-59e9-97a8-dc69b9958eef)
GPU 2: NVIDIA A100-SXM4-40GB (UUID: GPU-4e56019e-84de-eef5-5ac3-85e468e93639)
  MIG 3g.20gb     Device  0: (UUID: MIG-c130392b-fd7c-59f8-9f4b-ecab27a2984b)
  MIG 2g.10gb     Device  1: (UUID: MIG-7d61cf16-ad08-57be-b2c2-ac6e515b28c3)
  MIG 1g.5gb      Device  2: (UUID: MIG-f5388dec-d841-506c-bb7a-6ac136ceee53)
  MIG 1g.5gb      Device  3: (UUID: MIG-02d54020-c6cb-5997-894b-e95af0f49388)
GPU 3: NVIDIA A100-SXM4-40GB (UUID: GPU-4fd894a0-b471-9e77-eb67-0ad15002ed5b)
  MIG 3g.20gb     Device  0: (UUID: MIG-10399b59-2625-5106-b3f8-76ae19da46e1)
  MIG 2g.10gb     Device  1: (UUID: MIG-ef81ee7d-fc48-56ed-8479-8ffa76eb4154)
  MIG 1g.5gb      Device  2: (UUID: MIG-ed9bf59d-6bf2-5e07-80fb-dd0d7ca41f9d)
  MIG 1g.5gb      Device  3: (UUID: MIG-a15d6f7d-661b-514e-8838-06fe4ffe7f75)
GPU 4: NVIDIA A100-SXM4-40GB (UUID: GPU-05b6b91b-da6e-3078-1f4f-a7bbf1ff7ed2)
GPU 5: NVIDIA A100-SXM4-40GB (UUID: GPU-078a8df1-f387-0315-6b0b-af12e082f6d5)
GPU 6: NVIDIA A100-SXM4-40GB (UUID: GPU-6cdeffe7-45f1-7e8e-bcc1-4634399ad877)
GPU 7: NVIDIA A100-SXM4-40GB (UUID: GPU-5f68814a-4e4a-5dec-79b4-8d70a61c7714)