Amazon EKS에서 P6e-GB200 UltraServers 사용

다음 구성을 사용하여 이름이 gpu-operator-values.yaml인 헬름 값 파일을 생성하세요.

devicePlugin:
  enabled: true
nfd:
  enabled: true
gfd:
  enabled: true
driver:
  enabled: false
toolkit:
  enabled: false
migManager:
  enabled: false

이전 단계에서 생성한 gpu-operator-values.yaml 파일을 사용하여 클러스터에 대해 NVIDIA GPU 운영자를 설치하세요.

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

helm install gpu-operator nvidia/gpu-operator \
 --namespace gpu-operator \
 --create-namespace \
 --version v25.3.4 \
 --values gpu-operator-values.yaml

다음 구성을 사용하여 이름이 dra-values.yaml인 헬름 값 파일을 생성하세요. NVIDIA GPU가 있는 노드에만 배포하도록 DRA 드라이버를 구성하는 nodeAffinity 및 tolerations에 유의하세요.

resources:
  gpus:
    enabled: false # set to false to disable experimental gpu support
  computeDomains:
    enabled: true

controller:
  nodeSelector: null
  affinity: null
  tolerations: []

kubeletPlugin:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: "nvidia.com/gpu.present"
            operator: In
            values:
            - "true"
  tolerations:
    - key: "nvidia.com/gpu"
      operator: Exists
      effect: NoSchedule

이전 단계에서 생성한 dra-values.yaml 파일을 사용하여 클러스터에 대해 NVIDIA DRA 드라이버를 설치하세요.

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

helm install nvidia-dra-driver-gpu nvidia/nvidia-dra-driver-gpu \
  --version="25.8.0" \
  --namespace nvidia-dra-driver-gpu \
  --create-namespace \
  -f dra-values.yaml

설치 후 DRA 드라이버는 Kubernetes가 DeviceClass 리소스를 이해하고 할당하도록 지원하는 ComputeDomain 리소스를 생성하여 P6e-GB200 UltraServers의 분산 GPU 워크로드에 대해 IMEX 관리를 지원합니다.

다음 명령을 사용하여 DRA 리소스를 사용할 수 있는지 확인하세요.

kubectl api-resources | grep resource.k8s.io

deviceclasses           resource.k8s.io/v1  false        DeviceClass
resourceclaims          resource.k8s.io/v1  true         ResourceClaim
resourceclaimtemplates  resource.k8s.io/v1  true         ResourceClaimTemplate
resourceslices          resource.k8s.io/v1  false        ResourceSlice

kubectl get deviceclasses

NAME
compute-domain-daemon.nvidia.com
compute-domain-default-channel.nvidia.com

다음 구성을 사용하여 이름이 efa-values.yaml인 헬름 값 파일을 생성하세요.

tolerations:
  - key: nvidia.com/gpu
    operator: Exists
    effect: NoSchedule

이전 단계에서 생성한 dra-values.yaml 파일을 사용하여 클러스터에 대해 NVIDIA DRA 운영자를 설치하세요.

helm repo add eks https://aws.github.io/eks-charts
helm repo update

helm install efa eks/aws-efa-k8s-device-plugin -n kube-system \
  --version="0.5.14" \
  -f efa-values.yaml

예를 들어 각 NCI 그룹에 1개의 efa 전용 인터페이스로 인스턴스를 구성한 경우 노드를 설명할 때 노드당 할당 가능한 EFA 디바이스 4개가 표시될 것으로 예상됩니다.

kubectl describe node/<gb200-node-name>

Capacity:
  ...
  vpc.amazonaws.com/efa:  4
Allocatable:
  ...
  vpc.amazonaws.com/efa:  4

NVL72 도메인의 두 노드에서 다중 노드 대역폭 테스트를 실행하려면 먼저 MPI 연산자를 설치하세요.

kubectl create -f https://github.com/kubeflow/mpi-operator/releases/download/v0.7.0/mpi-operator.yaml

테스트 매니페스트를 정의하는 nvbandwidth-test-job.yaml이라는 헬름 값 파일을 생성하세요. nvidia.com/gpu.clique 포드는 다중 노드 NVLink 연결을 지원하는 동일한 NVLink 도메인에서 작업자를 예약하는 것을 선호한다는 점에 유의하세요. 아래 샘플에서는 cuMemcpyAsync를 사용하여 다중 노드 디바이스 간 CE 읽기 memcpy 테스트를 실행하고 로그에 결과를 인쇄합니다.

NVIDIA DRA 드라이버 버전 v25.8.0부터 ComputeDomains는 탄력적이며, ComputeDomain 정의에서 .spec.numNodes를 0으로 설정할 수 있습니다. 최신 NVIDIA DRA 드라이버 릴리스 정보에서 업데이트를 검토하세요.

---
apiVersion: resource.nvidia.com/v1beta1
kind: ComputeDomain
metadata:
  name: nvbandwidth-test-compute-domain
spec:
  numNodes: 0 # This can be set to 0 from NVIDIA DRA Driver version v25.8.0+
  channel:
    resourceClaimTemplate:
      name: nvbandwidth-test-compute-domain-channel

---
apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  name: nvbandwidth-test
spec:
  slotsPerWorker: 4 # 4 GPUs per worker node
  launcherCreationPolicy: WaitForWorkersReady
  runPolicy:
    cleanPodPolicy: Running
  sshAuthMountPath: /home/mpiuser/.ssh
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-launcher
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-launcher
            securityContext:
              runAsUser: 1000
            command:
            - mpirun
            args:
            - --bind-to
            - core
            - --map-by
            - ppr:4:node
            - -np
            - "8"
            - --report-bindings
            - -q
            - nvbandwidth
            - -t
            - multinode_device_to_device_memcpy_read_ce
    Worker:
      replicas: 2 # 2 worker nodes
      template:
        metadata:
          labels:
            nvbandwidth-test-replica: mpi-worker
        spec:
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  # Only schedule on NVIDIA GB200/GB300 nodes
                  - key: node.kubernetes.io/instance-type
                    operator: In
                    values:
                    - p6e-gb200.36xlarge
                    - p6e-gb300.36xlarge
            podAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
              - labelSelector:
                  matchExpressions:
                  - key: nvbandwidth-test-replica
                    operator: In
                    values:
                    - mpi-worker
                topologyKey: nvidia.com/gpu.clique
          containers:
          - image: ghcr.io/nvidia/k8s-samples:nvbandwidth-v0.7-8d103163
            name: mpi-worker
            securityContext:
              runAsUser: 1000
            env:
            command:
            - /usr/sbin/sshd
            args:
            - -De
            - -f
            - /home/mpiuser/.sshd_config
            resources:
              limits:
                nvidia.com/gpu: 4  # Request 4 GPUs per worker
              claims:
              - name: compute-domain-channel # Link to IMEX channel
          resourceClaims:
          - name: compute-domain-channel
            resourceClaimTemplateName: nvbandwidth-test-compute-domain-channel

ComputeDomain을 생성하고 다음 명령을 사용하여 작업을 시작하세요.

kubectl apply -f nvbandwidth-test-job.yaml

ComputeDomain 생성 시 워크로드의 ComputeDomain에 두 개의 노드가 있음을 확인할 수 있습니다.

kubectl get computedomains.resource.nvidia.com -o yaml

status:
  nodes:
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  - cliqueID: <ClusterUUID>.<Clique ID>
    ipAddress: <node-ip>
    name: <node-hostname>
  status: Ready

다음 명령을 사용하여 작업 결과를 검토하세요.

kubectl logs --tail=-1 -l job-name=nvbandwidth-test-launcher

테스트에 성공하면 다중 노드 memcpy 테스트에 대한 대역폭 통계(GB/s)가 표시됩니다. 다음은 성공적인 테스트 출력에 대한 예제입니다.

...
nvbandwidth Version: ...
Built from Git version: ...

MPI version: ...
CUDA Runtime Version: ...
CUDA Driver Version: ...
Driver Version: ...

Process 0 (nvbandwidth-test-worker-0): device 0: NVIDIA GB200 (...)
Process 1 (nvbandwidth-test-worker-0): device 1: NVIDIA GB200 (...)
Process 2 (nvbandwidth-test-worker-0): device 2: NVIDIA GB200 (...)
Process 3 (nvbandwidth-test-worker-0): device 3: NVIDIA GB200 (...)
Process 4 (nvbandwidth-test-worker-1): device 0: NVIDIA GB200 (...)
Process 5 (nvbandwidth-test-worker-1): device 1: NVIDIA GB200 (...)
Process 6 (nvbandwidth-test-worker-1): device 2: NVIDIA GB200 (...)
Process 7 (nvbandwidth-test-worker-1): device 3: NVIDIA GB200 (...)

Running multinode_device_to_device_memcpy_read_ce.
memcpy CE GPU(row) -> GPU(column) bandwidth (GB/s)
           0         1         2         3         4         5         6         7
 0       N/A    821.45    822.18    821.73    822.05    821.38    822.61    821.89
 1    822.34       N/A    821.67    822.12    821.94    820.87    821.53    822.08
 2    821.76    822.29       N/A    821.58    822.43    821.15    821.82    822.31
 3    822.19    821.84    822.05       N/A    821.67    821.23    820.95    822.47
 4    821.63    822.38    821.49    822.17       N/A    821.06    821.78    822.22
 5    822.08    821.52    821.89    822.35    821.27       N/A    821.64    822.13
 6    821.94    822.15    821.68    822.04    821.39    820.92       N/A    822.56
 7    822.27    821.73    822.11    821.86    822.38    821.04    821.49       N/A

SUM multinode_device_to_device_memcpy_read_ce ...

NOTE: The reported results may not reflect the full capabilities of the platform.
Performance can vary with software drivers, hardware clocks, and system topology.

테스트가 완료되면 다음 명령을 사용하여 삭제하세요.

kubectl delete -f nvbandwidth-test-job.yaml