Colocar em quarentena, substituir ou reinicializar manualmente um nó

Saiba como colocar em quarentena, substituir e reinicializar manualmente um nó com defeito em SageMaker HyperPod clusters orquestrados com o Amazon EKS.

Para colocar um nó em quarentena e forçar a exclusão de um pod de treinamento

kubectl cordon <node-name>

Após a quarentena, force a ejeção do Pod. Isso é útil quando você vê que um pod está preso na terminação por mais de 30 minutos ou kubectl describe pod mostra “O nó não está pronto” em Eventos

kubectl delete pods <pod-name> --grace-period=0 --force

SageMaker HyperPod oferece dois métodos para recuperação manual de nós. A abordagem preferida é usar o SageMaker HyperPod Reboot and Replace APIs, que fornece um processo de recuperação mais rápido e transparente que funciona em todos os orquestradores. Como alternativa, você pode usar os comandos kubectl para rotular os nós para operações de reinicialização e substituição. Ambos os métodos ativam os mesmos processos SageMaker HyperPod de recuperação.

Para reinicializar um nó usando a API de reinicialização

Para reinicializar um nó, você pode usar a BatchRebootClusterNodes API.

Aqui está um exemplo de como executar a operação de reinicialização em duas instâncias de um cluster usando oAWS Command Line Interface:

 aws sagemaker-dev batch-reboot-cluster-nodes \
        --cluster-name arn:aws:sagemaker:ap-northeast-1:123456789:cluster/test-cluster \
        --node-ids i-abc123 i-def456 

Para substituir um nó usando a API Replace

Para substituir um nó, você pode usar a BatchReplaceClusterNodes API da seguinte forma:

Aqui está um exemplo de execução da operação de substituição em duas instâncias de um cluster usando oAWS Command Line Interface:

 aws sagemaker-dev batch-replace-cluster-nodes \
        --cluster-name arn:aws:sagemaker:ap-northeast-1:123456789:cluster/test-cluster \
        --node-ids i-abc123 i-def456 

Para substituir um nó usando kubectl

Identifique o nó a ser substituídosagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement, o que aciona o. SageMaker HyperPod Recuperação automática de nós Observe que você também precisa ativar a recuperação automática de nós durante a criação ou atualização do cluster.

kubectl label nodes <node-name> \
   sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReplacement

Para reinicializar um nó usando kubectl

Identifique o nó com o qual reinicializarsagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot, o que aciona o. SageMaker HyperPod Recuperação automática de nós Observe que você também precisa ativar a recuperação automática de nós durante a criação ou atualização do cluster.

kubectl label nodes <node-name> \
   sagemaker.amazonaws.com/node-health-status=UnschedulablePendingReboot

Depois que os rótulos UnschedulablePendingReplacement UnschedulablePendingReboot forem aplicados, você poderá ver o nó ser encerrado ou reinicializado em alguns minutos.