이 페이지 개선에 도움 주기

이 사용자 가이드에 기여하려면 모든 페이지의 오른쪽 창에 있는 GitHub에서 이 페이지 편집 링크를 선택합니다.

Amazon EKS에서 NVIDIA GPU 디바이스 관리

NVIDIA GPU는 기계 학습 훈련, 추론 및 고성능 컴퓨팅 워크로드에 널리 사용됩니다. Amazon EKS는 EKS 클러스터에서 NVIDIA GPU 디바이스를 관리하기 위한 두 가지 메커니즘(GPU용 NVIDIA DRA 드라이버 및 NVIDIA Kubernetes 디바이스 플러그인)을 지원합니다.

Kubernetes 버전 1.34 이상을 실행하는 클러스터의 새 배포에 대해 NVIDIA DRA 드라이버를 사용하는 것이 좋습니다. NVIDIA DRA 드라이버를 사용하면 컨테이너 사이에서 유연한 GPU 할당 및 GPU 공유가 가능합니다. NVIDIA 디바이스 플러그인은 계속 지원됩니다.

NVIDIA DRA 드라이버 및 NVIDIA 디바이스 플러그인 비교

NVIDIA DRA 드라이버 설치

GPU용 NVIDIA DRA 드라이버는 GPU 및 ComputeDomains와 같은 두 가지 유형의 리소스를 관리합니다. 두 개의 DRA kubelet 플러그인(gpu-kubelet-plugin 및 compute-domain-kubelet-plugin)을 실행합니다. 각각 설치 중에 개별적으로 활성화하거나 비활성화할 수 있습니다. 이 가이드는 GPU 할당에 초점을 맞춥니다. ComputeDomains 사용에 대해서는 Amazon EKS에서 P6e-GB200 UltraServers 사용 섹션을 참조하세요.

현재 Bottlerocket에서 NVIDIA DRA 드라이버 사용은 지원되지 않습니다.

사전 조건

절차

포드에서 NVIDIA GPU 요청

DRA 드라이버를 사용하여 NVIDIA GPU를 요청하려면 gpu.nvidia.com DeviceClass를 참조하는 ResourceClaimTemplate를 생성하고 포드 사양에서 이를 참조합니다.

다음 예제에서는 단일 GPU를 요청합니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: single-gpu
spec:
  spec:
    devices:
      requests:
      - name: gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
---
apiVersion: v1
kind: Pod
metadata:
  name: gpu-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: gpu
  resourceClaims:
  - name: gpu
    resourceClaimTemplateName: single-gpu
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

NVIDIA Kubernetes 디바이스 플러그인 설치

NVIDIA Kubernetes 디바이스 플러그인은 NVIDIA GPU를 nvidia.com/gpu 확장 리소스로 알립니다. 컨테이너 리소스 요청 및 제한에서 GPU를 요청합니다.

사전 조건

절차

포드에서 NVIDIA GPU 요청

디바이스 플러그인을 사용하여 NVIDIA GPU를 요청하려면 컨테이너 리소스 제한에서 nvidia.com/gpu 리소스를 지정합니다.

apiVersion: v1
kind: Pod
metadata:
  name: nvidia-smi
spec:
  restartPolicy: OnFailure
  containers:
  - name: gpu-demo
    image: public.ecr.aws/amazonlinux/amazonlinux:2023-minimal
    command: ["/bin/sh", "-c"]
    args: ["nvidia-smi && tail -f /dev/null"]
    resources:
      limits:
        nvidia.com/gpu: 1
  tolerations:
  - key: "nvidia.com/gpu"
    operator: "Equal"
    value: "true"
    effect: "NoSchedule"

이 테스트를 실행하려면 매니페스트를 적용하고 로그를 봅니다.

kubectl apply -f nvidia-smi.yaml
kubectl logs nvidia-smi

예제 출력은 다음과 같습니다.

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI XXX.XXX.XX            Driver Version: XXX.XXX.XX     CUDA Version: XX.X      |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA L4                      On  |   00000000:31:00.0 Off |                    0 |
| N/A   27C    P8             11W /   72W |       0MiB /  23034MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+