View a markdown version of this page

Perguntas frequentes sobre reinicialização do Slurm em AWS PEÇAS - AWS PEÇAS
Recursos adicionais do

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Perguntas frequentes sobre reinicialização do Slurm em AWS PEÇAS

Encontre respostas para perguntas comuns sobre o uso da reinicialização do Slurm no PCS. AWS

O que é suporte à reinicialização do Slurm?

Suporte para o comando Slurm scontrol reboot nativo. Use esse comando para reinicializar os nós de computação sem a substituição automática da instância, o que preserva a capacidade da instância do EC2 e reduz os custos operacionais.

Quem pode usar os comandos de reinicialização do Slurm?

Somente usuários do Slurm Admin (usuários root) podem executar comandos de reinicialização. Usuários regulares que tentarem usar scontrol reboot receberão um erro de permissão negada do Slurm sem afetar o nó.

O que acontece com a execução de tarefas durante uma reinicialização?

Por padrão, os trabalhos são concluídos normalmente antes da reinicialização. Com a opção ASAP, o nó é drenado para evitar novos trabalhos, e a reinicialização ocorre após a conclusão dos trabalhos atuais. Os trabalhos podem ser cancelados ou colocados em fila para reinicializações imediatas.

Como isso é diferente da reinicialização do console do EC2?

A reinicialização do Slurm preserva a instância do EC2 e evita a substituição, enquanto as reinicializações do console do EC2 acionam o PCS para substituir a instância devido a falhas nas verificações de integridade durante o processo de reinicialização.

Posso configurar scripts de reinicialização personalizados?

Não, a RebootProgram configuração não é suportada na versão inicial. O recurso usa o comportamento padrão de reinicialização do Slurm sem suporte a scripts personalizados.

Quanto tempo leva uma reinicialização do Slurm?

O tempo de reinicialização varia de acordo com o tipo de instância, os processos de inicialização do cliente, a configuração da AMI e se os trabalhos precisam ser concluídos primeiro. O processo inclui aguardar a conclusão dos trabalhos, reinicialização física, verificações de integridade e registro do daemon slurmd.

Posso ver um histórico de reinicializações?

Os eventos de reinicialização são registrados nos registros do Slurm (slurmctld e slurmd), que podem ser monitorados por meio deles. CloudWatch O campo de motivo no status do nó mostra o motivo da reinicialização durante o processo.

E se um nó ficar preso durante a reinicialização?

Se um nó não concluir o processo de reinicialização interno ResumeTimeout, ele será marcado como INATIVO. Verifique se há erros CloudWatch nos registros, verifique a conectividade da rede e examine os registros do slurmd. Entre em contato com AWS o Suporte se os problemas persistirem.

Posso reinicializar vários nós ao mesmo tempo?

Sim, você pode especificar vários nós no comando de reinicialização:

scontrol reboot ASAP node1,node2,node3
Como posso reinicializar um nó sem esperar que os trabalhos sejam concluídos?

Para reinicializações imediatas de nós ao enfrentar problemas como nós problemáticos que afetam trabalhos de vários nós, degradação significativa do desempenho ou comportamento instável da GPU, você tem duas opções:

  • Cancelar e reinicializar — Primeiro, cancele os trabalhos afetados usando e, em seguidascancel <job_id>, inicie uma reinicialização imediata usando. scontrol reboot ASAP <nodename> Os trabalhos em execução serão encerrados e precisarão ser reenviados após a recuperação do nó.

  • Drenar e reenfileirar (menos impactante) — Comece iniciando uma drenagem e reinicie comscontrol reboot ASAP <nodename>, em seguida, reenfileire as tarefas afetadas usando. scontrol requeue <job_id> Isso coloca os trabalhos de volta ao estado pendente em vez de cancelá-los.

O que acontece se eu especificar nextState=down?

Se você especificarnextstate=DOWN, o nó será marcado como não íntegro após a reinicialização e acionará a substituição da instância. Para evitar a substituição de instâncias, não especifique nextstate nem use. nextstate=RESUME

Recursos adicionais do