Slurm guida per la modalità a coda multipla

• Un nodo in uno POWER_SAVING stato viene visualizzato con un ~ suffisso (ad esempioidle~) in. sinfo In questo stato, nessuna EC2 istanza supporta il nodo. Tuttavia, Slurm può comunque allocare lavori al nodo.

• Un nodo in transizione verso uno POWER_UP stato viene visualizzato con un # suffisso (ad esempioidle#) in. sinfo Un nodo passa automaticamente a uno POWER_UP stato, quando Slurm assegna un lavoro a un nodo in uno POWER_SAVING stato.

  In alternativa, puoi trasferire manualmente i nodi allo POWER_UP stato come utente su root con il comando:

  $ scontrol update nodename=nodename state=power_up

  In questa fase, ResumeProgram viene richiamato, EC2 le istanze vengono avviate e configurate e il nodo passa allo stato. POWER_UP

• Un nodo attualmente disponibile per l'uso viene visualizzato senza un suffisso (ad esempio) in. idle sinfo Dopo che il nodo è stato configurato ed è entrato a far parte del cluster, diventa disponibile per l'esecuzione dei job. In questa fase, il nodo è configurato correttamente e pronto per l'uso.

  Come regola generale, consigliamo che il numero di EC2 istanze Amazon sia uguale al numero di nodi disponibili. Nella maggior parte dei casi, i nodi statici sono disponibili dopo la creazione del cluster.

• Un nodo che sta passando a POWER_DOWN uno stato viene visualizzato con un % suffisso (ad esempioidle%) in. sinfo I nodi dinamici entrano automaticamente nello POWER_DOWN stato successivo. ScaledownIdletime Al contrario, i nodi statici nella maggior parte dei casi non vengono spenti. Tuttavia, puoi posizionare i nodi nello POWER_DOWN stato manualmente come utente su root con il comando:

  $ scontrol update nodename=nodename state=down reason="manual draining"

  In questo stato, le istanze associate a un nodo vengono terminate e il nodo viene ripristinato allo POWER_SAVING stato e può essere utilizzato successivamente. ScaledownIdletime

  L'ScaledownIdletimeimpostazione viene salvata in Slurm SuspendTimeoutimpostazione di configurazione.

• Viene visualizzato un nodo offline con un * suffisso (ad esempiodown*) insinfo. Un nodo va offline se Slurm il controller non può contattare il nodo o se i nodi statici sono disabilitati e le istanze di backup sono terminate.

• Un tipo di istanza (ad esempioc5.xlarge)

• Un tipo di nodo (questo è dynamic ostatic.)

• UP: indica che la partizione è in uno stato attivo. Questo è lo stato predefinito di una partizione. In questo stato, tutti i nodi della partizione sono attivi e disponibili per l'uso.

• INACTIVE: indica che la partizione è nello stato inattivo. In questo stato, tutte le istanze che supportano i nodi di backup di una partizione inattiva vengono terminate. Non vengono avviate nuove istanze per i nodi in una partizione inattiva.

• Arresto del parco di calcolo: quando viene eseguito il comando seguente, tutte le partizioni passano INACTIVE allo stato e i AWS ParallelCluster processi mantengono le partizioni nello stato. INACTIVE

  $ pcluster update-compute-fleet --cluster-name testSlurm \
     --region eu-west-1 --status STOP_REQUESTED

• Avvio del parco di calcolo: quando viene eseguito il comando seguente, tutte le partizioni passano inizialmente allo stato. UP Tuttavia, AWS ParallelCluster i processi non mantengono la partizione in uno stato. UP È necessario modificare manualmente lo stato delle partizioni. Tutti i nodi statici diventano disponibili dopo pochi minuti. Tieni presente che l'impostazione di una partizione su UP non attiva alcuna capacità dinamica.

  $ pcluster update-compute-fleet --cluster-name testSlurm \
     --region eu-west-1 --status START_REQUESTED

• STOP_REQUESTED: La richiesta di stop compute fleet viene inviata al cluster.

• STOPPING: Il pcluster processo sta attualmente interrompendo la flotta di elaborazione.

• STOPPED: Il pcluster processo ha terminato il processo di arresto, tutte le partizioni sono in INACTIVE stato attivo e tutte le istanze di calcolo sono terminate.

• START_REQUESTED: La richiesta di avvio della flotta di calcolo viene inviata al cluster.

• STARTING: Il pcluster processo sta attualmente avviando il cluster.

• RUNNING: Il pcluster processo ha completato il processo di avvio, tutte le partizioni sono nello UP stato attuale e i nodi statici sono disponibili dopo alcuni minuti.

• PROTECTED: Questo stato indica che alcune partizioni presentano errori di bootstrap consistenti. Le partizioni interessate sono inattive. Esamina il problema e poi corri update-compute-fleet a riattivare la flotta.

• Accendi i nodi dinamici in POWER_SAVING stato

  Esegui il comando come utente su root:

  $ scontrol update nodename=nodename state=power_up

  Puoi anche inviare un sleep 1 lavoro segnaposto richiedendo un certo numero di nodi e poi fare affidamento su Slurm per potenziare il numero richiesto di nodi.

• Spegni prima i nodi dinamici ScaledownIdletime

  Ti consigliamo di impostare i nodi dinamici DOWN come utente su root con il comando:

  $ scontrol update nodename=nodename state=down reason="manually draining"

  AWS ParallelCluster termina e ripristina automaticamente i nodi dinamici disattivati.

  In generale, non è consigliabile impostare i nodi in modo che utilizzino POWER_DOWN direttamente il comando. scontrol update nodename=nodename state=power_down Questo perché gestisce AWS ParallelCluster automaticamente il processo di spegnimento.

• Disabilita una coda (partizione) o ferma tutti i nodi statici in una partizione specifica

  Imposta una coda specifica INACTIVE come utente su root con il comando:

  $ scontrol update partition=queuename state=inactive

  In questo modo si interrompono tutte le istanze che eseguono il backup dei nodi nella partizione.

• Abilita una coda (partizione)

  Imposta una coda specifica per UP un utente su root con il comando:

  $ scontrol update partition=queuename state=up

Ecco un esempio del normale flusso di lavoro di ridimensionamento:

• Lo scheduler riceve un lavoro che richiede due nodi.

• Lo scheduler trasferisce due nodi in uno POWER_UP stato e chiama ResumeProgram con i nomi dei nodi (ad esempio). queue1-dy-spotcompute1-[1-2]

• ResumeProgramavvia due EC2 istanze Amazon e assegna gli indirizzi IP e i nomi host privati diqueue1-dy-spotcompute1-[1-2], in attesa ResumeTimeout (il periodo predefinito è di 30 minuti) prima di reimpostare i nodi.

• Le istanze vengono configurate e si uniscono al cluster. Un processo inizia a essere eseguito sulle istanze.

• Il processo viene completato e interrompe l'esecuzione.

• Al termine della configurazione SuspendTime (che è impostata su ScaledownIdletime), lo scheduler imposta le istanze sullo stato. POWER_SAVING Lo scheduler imposta quindi POWER_DOWN lo stato e chiama queue1-dy-spotcompute1-[1-2] SuspendProgram con i nomi dei nodi.

• SuspendProgramviene chiamato per due nodi. I nodi rimangono nello POWER_DOWN stato, ad esempio, rimanendo idle% per a SuspendTimeout (il periodo predefinito è 120 secondi (2 minuti)). Dopo aver clustermgtd rilevato che i nodi si stanno spegnendo, interrompe le istanze di backup. Quindi, passa queue1-dy-spotcompute1-[1-2] allo stato di inattività e reimposta l'indirizzo IP privato e il nome host in modo che sia pronto per l'avvio per i lavori futuri.

Se qualcosa va storto e un'istanza per un particolare nodo non può essere avviata per qualche motivo, succede quanto segue:

• Lo scheduler riceve un lavoro che richiede due nodi.

• Lo scheduler trasferisce due nodi di cloud bursting POWER_UP allo stato e chiama ResumeProgram con i nomi dei nodi, (ad esempio). queue1-dy-spotcompute1-[1-2]

• ResumeProgramavvia solo una (1) EC2 istanza Amazon e configuraqueue1-dy-spotcompute1-1, con una (1) istanzaqueue1-dy-spotcompute1-2, che non riesce ad avviarsi.

• queue1-dy-spotcompute1-1non è interessato e torna online dopo aver raggiunto lo stato. POWER_UP

• queue1-dy-spotcompute1-2passa allo POWER_DOWN stato e il lavoro viene richiesto automaticamente perché Slurm rileva un errore del nodo.

• queue1-dy-spotcompute1-2diventa disponibile dopo SuspendTimeout (l'impostazione predefinita è 120 secondi (2 minuti)). Nel frattempo, il processo viene richiesto e può iniziare a essere eseguito su un altro nodo.

• Il processo precedente si ripete finché il processo non può essere eseguito su un nodo disponibile senza che si verifichi un errore.

Esistono due parametri di temporizzazione che possono essere regolati se necessario:

• ResumeTimeout(l'impostazione predefinita è 30 minuti): ResumeTimeout controlla l'ora Slurm attende prima di passare il nodo allo stato inattivo.

  • Potrebbe essere utile estenderlo ResumeTimeout se il processo di pre/post installazione richiede quasi così tanto tempo.

  • ResumeTimeoutè anche il tempo massimo di AWS ParallelCluster attesa prima di sostituire o resettare un nodo in caso di problemi. I nodi di calcolo si interrompono automaticamente se si verifica un errore durante l'avvio o la configurazione. AWS ParallelCluster i processi sostituiscono un nodo al rilevamento di un'istanza terminata.

• SuspendTimeout(l'impostazione predefinita è 120 secondi (2 minuti)): SuspendTimeout controlla la velocità con cui i nodi vengono reinseriti nel sistema e sono nuovamente pronti per l'uso.

  • Un valore più corto SuspendTimeout indica che i nodi vengono ripristinati più rapidamente e Slurm può provare ad avviare le istanze più frequentemente.

  • Un valore più lungo SuspendTimeout significa che i nodi guasti vengono ripristinati più lentamente. Nel frattempo, Slurm tenta di usare altri nodi. Se SuspendTimeout sono necessari più di qualche minuto, Slurm tenta di attraversare tutti i nodi del sistema. Una versione più lunga SuspendTimeout potrebbe essere utile per i sistemi su larga scala (oltre 1.000 nodi) per ridurre lo stress Slurm quando tenta di rimettere spesso in coda i lavori non riusciti.

  • Nota che SuspendTimeout non si riferisce al tempo di AWS ParallelCluster attesa per terminare un'istanza di backup per un nodo. Le istanze di backup per POWER_DOWN i nodi vengono immediatamente terminate. Il processo di terminazione di solito termina in pochi minuti. Tuttavia, durante questo periodo, il nodo rimane nello POWER_DOWN stato e non è disponibile per l'uso da parte dello scheduler.

• ResumeProgram: /var/log/parallelcluster/slurm_resume.log (slurm_resume)

• SuspendProgram: /var/log/parallelcluster/slurm_suspend.log (slurm_suspend)

• clustermgtd: /var/log/parallelcluster/clustermgtd.log (clustermgtd)

• computemgtd: /var/log/parallelcluster/computemgtd.log (computemgtd)

• slurmctld: /var/log/slurmctld.log (slurmctld)

• slurmd: /var/log/slurmd.log (slurmd)

• Nodi dinamici:

  • Controlla il ResumeProgram registro per vedere se ResumeProgram è stato chiamato con il nodo. In caso contrario, controlla il slurmctld registro per determinare se Slurm ho provato a chiamare ResumeProgram con il nodo. Tieni presente che autorizzazioni errate ResumeProgram potrebbero causare un errore silenzioso.

  • Se ResumeProgram viene chiamato, controlla se è stata lanciata un'istanza per il nodo. Se l'istanza non è stata avviata, dovrebbe apparire un messaggio di errore chiaro sul motivo per cui l'istanza non è stata avviata.

  • Se è stata avviata un'istanza, potrebbe essersi verificato qualche problema durante il processo di bootstrap. Trova l'indirizzo IP privato e l'ID dell'istanza corrispondenti dal ResumeProgram registro e guarda i registri di bootstrap corrispondenti per l'istanza specifica in Logs. CloudWatch

• Nodi statici:

  • Controlla il clustermgtd registro per vedere se sono state avviate istanze per il nodo. Se le istanze non sono state avviate, dovrebbero esserci errori evidenti sul motivo per cui le istanze non sono state avviate.

  • Se è stata avviata un'istanza, c'è qualche problema con il processo di bootstrap. Trova l'IP privato e l'ID dell'istanza corrispondenti dal clustermgtd registro e guarda i registri di bootstrap corrispondenti per l'istanza specifica in Logs. CloudWatch

• Nodi sostituiti/terminati in modo imprevisto:

  • Nella maggior parte dei casi, clustermgtd gestisce tutte le azioni di manutenzione dei nodi. Per verificare se un nodo è stato clustermgtd sostituito o interrotto, controlla il clustermgtd registro.

  • Se il nodo è stato clustermgtd sostituito o terminato, dovrebbe apparire un messaggio che indica il motivo dell'azione. Se il motivo è legato allo scheduler (ad esempio, il nodo lo eraDOWN), controlla il slurmctld registro per maggiori dettagli. Se il motivo è EC2 correlato ad Amazon, utilizza strumenti come Amazon CloudWatch o la EC2 console Amazon, la CLI o SDKs, per controllare lo stato o i log di quell'istanza. Ad esempio, puoi verificare se l'istanza aveva eventi pianificati o se i controlli dello stato di EC2 salute di Amazon non sono andati a buon fine.

  • Se clustermgtd non ha terminato il nodo, controlla se ha computemgtd terminato il nodo o se ha EC2 terminato l'istanza per recuperare un'istanza Spot.

• Guasti del nodo:

  • Nella maggior parte dei casi, i lavori vengono richiesti automaticamente in caso di errore di un nodo. Esamina nel slurmctld registro il motivo per cui un job o un nodo non è riuscito e valuta la situazione da lì.

• In generale, clustermgtd gestisce tutte le azioni di terminazione previste dell'istanza. Guarda nel clustermgtd registro per vedere perché non è riuscito a sostituire o terminare un nodo.

• Se i nodi dinamici non funzionano ScaledownIdletimecorrettamente, guarda nel SuspendProgram registro per vedere se slurmctld i processi hanno effettuato chiamate con il nodo specifico come argomento. Note in realtà SuspendProgram non esegue alcuna azione specifica. Piuttosto, registra solo quando viene chiamato. Tutte le terminazioni e i NodeAddr ripristini delle istanze vengono completati da. clustermgtd Slurm trasferisce i nodi a dopo. IDLE SuspendTimeout

• AWS ParallelCluster non prende decisioni sull'allocazione del lavoro o sulla scalabilità. Tenta solo di avviare, terminare e mantenere le risorse in base a Slurmistruzioni.

  Per problemi relativi all'allocazione dei lavori, all'allocazione dei nodi e alla decisione sulla scalabilità, consulta il slurmctld registro per individuare eventuali errori.