在 Amazon EKS 上使用時間分割搭配 NVIDIA GPUs

使用TimeSlicing共用策略建立ResourceClaim請求 GPU 的 。參考此宣告的多個 Pod 共用相同的實體 GPU。

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaim
metadata:
  name: shared-timeslice-gpu
spec:
  devices:
    requests:
    - name: gpu
      exactly:
        deviceClassName: gpu.nvidia.com
        count: 1
    config:
    - requests: ["gpu"]
      opaque:
        driver: gpu.nvidia.com
        parameters:
          apiVersion: resource.nvidia.com/v1beta1
          kind: GpuConfig
          sharing:
            strategy: TimeSlicing
            timeSlicingConfig:
              interval: Long
EOF

部署參考ResourceClaim依名稱共用的兩個或多個 Pod。每個 Pod 透過 resourceClaims和 參考宣告resources.claims。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: share-a
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: gpu
  resourceClaims:
    - name: gpu
      resourceClaimName: shared-timeslice-gpu
  restartPolicy: OnFailure
EOF

確認 Pod 共用相同的實體 GPU。在每個 Pod nvidia-smi -L中執行，並確認它們報告相同的 GPU UUID。

kubectl logs share-a

範例輸出如下。參考相同宣告的第二個 Pod 會報告相同的 GPU UUID，以確認兩個 Pod 共用一個實體 GPU。

GPU 0: NVIDIA L4 (UUID: GPU-b41973ee-5d0a-cde8-6287-12b53f861f02)

在nvidia命名空間ConfigMap中建立時間分割，其中您在 中安裝裝置外掛程式安裝 NVIDIA Kubernetes 裝置外掛程式。此範例為每個 GPU 設定四個插槽。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: nvidia-device-plugin-config
  namespace: nvidia
data:
  config.yaml: |
    version: v1
    sharing:
      timeSlicing:
        renameByDefault: false
        failRequestsGreaterThanOne: true
        resources:
          - name: nvidia.com/gpu
            replicas: 4
EOF

更新現有的 NVIDIA 裝置外掛程式版本，以ConfigMap使用 config.name值參考 。--reuse-values 旗標會保留您在 中安裝裝置外掛程式時設定的值安裝 NVIDIA Kubernetes 裝置外掛程式。

helm upgrade nvdp nvdp/nvidia-device-plugin \
    --namespace nvidia \
    --reuse-values \
    --set config.name=nvidia-device-plugin-config

確認節點公告設定的 GPU 插槽數量。每個 GPU 有四個插槽，具有一個實體 GPU 的節點會報告 4。

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,GPU:.status.allocatable.nvidia\.com/gpu"

範例輸出如下。

NAME                                           GPU
ip-192-168-11-225.us-west-2.compute.internal   4

建立執行四個複本的部署，每個複本請求一個 GPU 插槽。

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: timeslicing-demo
spec:
  replicas: 4
  selector:
    matchLabels:
      app: timeslicing-demo
  template:
    metadata:
      labels:
        app: timeslicing-demo
    spec:
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
      containers:
        - name: cuda
          image: nvidia/cuda:12.6.0-base-ubuntu22.04
          command: ["bash", "-c", "nvidia-smi --query-gpu=uuid --format=csv,noheader; sleep infinity"]
          resources:
            limits:
              nvidia.com/gpu: 1
EOF

確認所有四個 Pod 都已排程在相同的節點上。

kubectl get pods -l app=timeslicing-demo -o wide

確認所有四個 Pod 都報告相同的 GPU UUID。所有四個 Pod 之間的單一共用 UUID 會確認一個實體 GPU 正在多工。

kubectl logs -l app=timeslicing-demo --prefix

範例輸出如下。

[pod/timeslicing-demo-xxxxxxxxxx-aaaaa/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-bbbbb/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ccccc/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03
[pod/timeslicing-demo-xxxxxxxxxx-ddddd/cuda] GPU-c0583cce-87c5-c736-db7f-6d3128c84d03