View a markdown version of this page

Domande frequenti su Slurm reboot in AWS 2 PEZZI - AWS PEZZI
Risorse aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Domande frequenti su Slurm reboot in AWS 2 PEZZI

Trova le risposte alle domande più frequenti sull'uso del riavvio di Slurm in PCS. AWS

Cos'è il supporto per il riavvio di Slurm?

Supporto per il comando nativo di Slurm. scontrol reboot Usa questo comando per riavviare i nodi di calcolo senza la sostituzione automatica delle istanze, il che preserva la capacità delle istanze EC2 e riduce i costi operativi.

Chi può usare i comandi di riavvio di Slurm?

Solo gli utenti Slurm Admin (utenti root) possono eseguire i comandi di riavvio. Gli utenti normali che tentano di utilizzare scontrol reboot riceveranno un messaggio di errore di autorizzazione negata da Slurm senza influire sul nodo.

Cosa succede ai processi in esecuzione durante un riavvio?

Per impostazione predefinita, i processi vengono completati normalmente prima del riavvio. Con l'opzione ASAP, il nodo viene svuotato per evitare nuovi processi e il riavvio avviene al termine dei lavori correnti. I processi possono essere annullati o messi in attesa per il riavvio immediato.

In che modo è diverso dal riavvio della console EC2?

Il riavvio di Slurm preserva l'istanza EC2 ed evita la sostituzione, mentre i riavvii della console EC2 attivano il PCS per sostituire l'istanza a causa di controlli di integrità falliti durante il processo di riavvio.

Posso configurare script di riavvio personalizzati?

No, la RebootProgram configurazione non è supportata nella versione iniziale. La funzionalità utilizza il comportamento di riavvio standard di Slurm senza supporto per script personalizzati.

Quanto dura il riavvio di Slurm?

Il tempo di riavvio varia in base al tipo di istanza, ai processi di avvio del cliente, alla configurazione dell'AMI e alla necessità o meno che i job debbano essere completati prima. Il processo include l'attesa del completamento dei processi, il riavvio fisico, i controlli di integrità e la registrazione del demone slurmd.

Posso vedere una cronologia dei riavvii?

Gli eventi di riavvio vengono registrati nei log di Slurm (slurmctld e slurmd) che possono essere monitorati tramite. CloudWatch Il campo del motivo nello stato del nodo mostra il motivo del riavvio durante il processo.

Cosa succede se un nodo si blocca durante il riavvio?

Se un nodo non completa il processo di riavvio entro tale termine ResumeTimeout, verrà contrassegnato come DOWN. Controlla CloudWatch i log per eventuali errori, verifica la connettività di rete ed esamina i log slurmd. Contatta l' AWS assistenza se i problemi persistono.

Posso riavviare più nodi contemporaneamente?

Sì, puoi specificare più nodi nel comando reboot:

scontrol reboot ASAP node1,node2,node3
Come posso riavviare un nodo senza attendere il completamento dei processi?

Per riavviare immediatamente un nodo in caso di problemi quali nodi problematici che influiscono sui processi multinodo, un significativo peggioramento delle prestazioni o un comportamento instabile della GPU, sono disponibili due opzioni:

  • Annulla e riavvia: innanzitutto, annulla i lavori interessati utilizzando, quindi avvia un riavvio immediato utilizzandoscancel <job_id>. scontrol reboot ASAP <nodename> I processi in esecuzione verranno interrotti e dovranno essere inviati nuovamente dopo il ripristino del nodo.

  • Drain and Requeue (meno impattante): inizia avviando un drain e riavviando con, quindi metti in coda i lavori interessati utilizzando. scontrol reboot ASAP <nodename> scontrol requeue <job_id> In questo modo i lavori vengono ripristinati in stato di sospeso anziché annullarli.

Cosa succede se si specifica nextState=DOWN?

Se lo specifichinextstate=DOWN, il nodo verrà contrassegnato come non integro dopo il riavvio e attiverà la sostituzione dell'istanza. Per evitare la sostituzione dell'istanza, non specificare nextstate o use. nextstate=RESUME

Risorse aggiuntive