手動隔離、取代或重新啟動節點 - Amazon SageMaker AI

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

手動隔離、取代或重新啟動節點

了解如何在與 Amazon EKS 協調的 SageMaker HyperPod 叢集中手動隔離、取代和重新啟動故障的節點。

隔離節點並強制刪除訓練 Pod

kubectl cordon <node-name>

隔離後,強制退出 Pod。當您看到 Pod 停滯在終止狀態超過 30 分鐘,或在事件中kubectl describe pod顯示「節點尚未就緒」時,此功能非常有用

kubectl delete pods <pod-name> --grace-period=0 --force

若要取代節點

將要取代的節點標示為 sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement,這會觸發 SageMaker HyperPod 自動節點復原。請注意,您也需要在叢集建立或更新期間啟用自動節點復原。

kubectl label nodes <node-name> \ sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement

重新啟動節點

使用 標記要重新啟動的節點sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot,這會觸發 SageMaker HyperPod自動節點復原。請注意,您也需要在叢集建立或更新期間啟用自動節點復原。

kubectl label nodes <node-name> \ sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot

套用標籤UnschedulablePendingReplacementUnschedulablePendingReboot 之後,您應該能夠看到節點在幾分鐘內終止或重新啟動。