本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 Amazon SageMaker HyperPod 上設定 GPU 分割區

先決條件

使用 MIG 組態建立叢集

使用AWS CLI

aws sagemaker create-cluster \
  --cluster-name my-mig-cluster \
  --orchestrator 'Eks={ClusterArn=arn:aws:eks:region:account:cluster/cluster-name}' \
  --instance-groups '{
    "InstanceGroupName": "gpu-group",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 1,
    "LifeCycleConfig": {
       "SourceS3Uri": "s3://my-bucket",
       "OnCreate": "on_create_script.sh"
    },
    "KubernetesConfig": {
       "Labels": {
          "nvidia.com/mig.config": "all-1g.5gb"
       }
    },
    "ExecutionRole": "arn:aws:iam::account:role/execution-role",
    "ThreadsPerCore": 1
  }' \
  --vpc-config '{
     "SecurityGroupIds": ["sg-12345"],
     "Subnets": ["subnet-12345"]
  }' \
  --node-provisioning-mode Continuous

使用CloudFormation

{
  "ClusterName": "my-mig-cluster",
  "InstanceGroups": [
    {
      "InstanceGroupName": "gpu-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 1,
      "KubernetesConfig": {
        "Labels": {
          "nvidia.com/mig.config": "all-2g.10gb"
        }
      },
      "ExecutionRole": "arn:aws:iam::account:role/execution-role"
    }
  ],
  "Orchestrator": {
    "Eks": {
      "ClusterArn": "arn:aws:eks:region:account:cluster/cluster-name"
    }
  },
  "NodeProvisioningMode": "Continuous"
}

將 GPU 運算子新增至現有叢集

安裝 GPU Operator

將 取代{$AWS_REGION}為您的叢集區域 （例如 us-east-1、us-west-2)。

helm install gpuo helm_chart/HyperPodHelmChart/charts/gpu-operator \
-f helm_chart/HyperPodHelmChart/charts/gpu-operator/regional-values/values-{$AWS_REGION}.yaml \
-n kube-system

驗證安裝 （等待 2-3 分鐘）

檢查所有 GPU 運算子 Pod 正在執行：

kubectl get pods -n kube-system | grep -E "(gpu-operator|nvidia-)"

預期的 Pod：

移除舊的裝置外掛程式

停用現有的 nvidia-device-plugin：

helm upgrade dependencies helm_chart/HyperPodHelmChart \
--set nvidia-device-plugin.devicePlugin.enabled=false \
-n kube-system

驗證 GPU 資源

確認節點顯示 GPU 容量。它應該顯示：https：//nvidia.com/gpu：8 （或實際的 GPU 計數）。

kubectl describe nodes | grep "nvidia.com/gpu"

更新 MIG 組態

步驟 1：識別執行個體群組中的節點

首先，識別屬於您要更新之執行個體群組的所有節點：

# List all nodes in the instance group
kubectl get nodes -l sagemaker.amazonaws.com/instance-group-name=INSTANCE_GROUP_NAME

# Example:
kubectl get nodes -l sagemaker.amazonaws.com/instance-group-name=p4d-group

此命令會傳回指定執行個體群組中所有節點的清單。請記下下列步驟的每個節點名稱。

步驟 2：封鎖和耗盡每個節點

針對步驟 1 中識別的每個節點，執行下列動作：

編寫節點

繫結可防止在節點上排程新的 Pod：

# Cordon a single node
kubectl cordon NODE_NAME

# Example:
kubectl cordon hyperpod-i-014a41a7001adca60

從節點耗盡工作負載 Pod

耗盡節點以移出所有工作負載 Pod，同時保留系統 Pod：

# Drain the node (ignore DaemonSets and evict pods)
kubectl drain NODE_NAME \
  --ignore-daemonsets \
  --delete-emptydir-data \
  --force \
  --grace-period=300

# Example:
kubectl drain hyperpod-i-014a41a7001adca60 \
  --ignore-daemonsets \
  --delete-emptydir-data \
  --force \
  --grace-period=300

命令選項說明：

步驟 3：確認沒有工作負載 Pod 正在執行

耗盡後，請確認節點上沒有剩餘的工作負載 Pod （系統命名空間除外）：

# Check for any remaining pods outside system namespaces
kubectl get pods --all-namespaces --field-selector spec.nodeName=NODE_NAME \
  | grep -v "kube-system" \
  | grep -v "cert-manager" \
  | grep -v "kubeflow" \
  | grep -v "hyperpod-inference-system" \
  | grep -v "kube-public" \
  | grep -v "mpi-operator" \
  | grep -v "gpu-operator" \
  | grep -v "aws-hyperpod" \
  | grep -v "jupyter-k8s-system" \
  | grep -v "hyperpod-observability" \
  | grep -v "kueue-system" \
  | grep -v "keda"

# Example:
kubectl get pods --all-namespaces --field-selector spec.nodeName=hyperpod-i-014a41a7001adca60 \
  | grep -v "kube-system" \
  | grep -v "cert-manager" \
  | grep -v "kubeflow" \
  | grep -v "hyperpod-inference-system" \
  | grep -v "kube-public" \
  | grep -v "mpi-operator" \
  | grep -v "gpu-operator" \
  | grep -v "aws-hyperpod" \
  | grep -v "jupyter-k8s-system" \
  | grep -v "hyperpod-observability" \
  | grep -v "kueue-system" \
  | grep -v "keda"

預期輸出：如果節點已正確耗盡，此命令應該不會傳回任何結果 （或僅顯示標頭列）。如果有任何 Pod 仍在執行中，請調查他們為何未被移出，並視需要手動刪除。

步驟 4：驗證節點就緒狀態

繼續 MIG 更新之前，請確認所有節點都已封鎖：

# Check node status - should show "SchedulingDisabled"
kubectl get nodes -l sagemaker.amazonaws.com/instance-group-name=INSTANCE_GROUP_NAME

節點應該SchedulingDisabled會顯示在 STATUS 欄中，表示它們已封鎖並準備好進行 MIG 更新。

更新現有叢集上的 MIG 設定檔

您可以在現有叢集上變更 MIG 設定檔：

aws sagemaker update-cluster \
  --cluster-name my-mig-cluster \
  --instance-groups '{
    "InstanceGroupName": "gpu-group",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 1,
    "KubernetesConfig": {
       "Labels": {
          "nvidia.com/mig.config": "all-3g.20gb"
       }
    },
    "ExecutionRole": "arn:aws:iam::account:role/execution-role"
  }'

驗證 MIG 組態

建立或更新叢集之後，請驗證 MIG 組態：

# Update kubeconfig
aws eks update-kubeconfig --name your-eks-cluster --region us-east-2

# Check MIG labels
kubectl get node NODE_NAME -o=jsonpath='{.metadata.labels}' | grep mig

# Check available MIG resources
kubectl describe node NODE_NAME | grep -A 10 "Allocatable:"

偵錯 MIG 組態的常見命令

使用下列命令來疑難排解和驗證叢集中的 MIG 組態：

# Check GPU Operator status
kubectl get pods -n gpu-operator-resources

# View MIG configuration
kubectl exec -n gpu-operator-resources nvidia-driver-XXXXX -- nvidia-smi mig -lgi

# Check device plugin configuration
kubectl logs -n gpu-operator-resources nvidia-device-plugin-XXXXX

# Monitor node events
kubectl get events --field-selector involvedObject.name=NODE_NAME

使用 SageMaker AI 主控台

使用 MIG 建立新的叢集

更新現有叢集上的 MIG 組態