Un'istanza EC2 in AWS PCS viene terminata e sostituita dopo il riavvio

panoramica dei problemi

Dopo il riavvio di un'istanza EC2 in un gruppo di nodi di calcolo, AWS PCS termina e sostituisce automaticamente l'istanza.

Perché questo accade

AWS PCS non supporta il riavvio delle istanze. Se un'istanza EC2 viene riavviata, AWS PCS la considera non integra e la sostituisce. Se AWS PCS termina e sostituisce continuamente le istanze, potrebbe essere perché qualcosa riavvia le istanze dopo il loro avvio. Alcuni esempi includono i riavvii automatizzati sull'istanza EC2 (come il riavvio automatico dopo l'applicazione di patch), l'automazione esterna all'istanza EC2 (come un'applicazione per la gestione della rete), un altro AWS servizio (ad esempio) o il riavvio manuale da parte di una persona. AWS Systems Manager

Cosa fare

Puoi controllare i slurmd log del sistema operativo per vedere se l'slurmctldistanza è stata riavviata. Per ulteriori informazioni, consultare Registri di Scheduler in PCS AWS e Monitoraggio delle istanze AWS PCS tramite Amazon CloudWatch. La seguente voce di slurmctld registro di esempio indica che l'istanza è stata riavviata:

[2024-09-12T06:42:50.393+00:00] validate_node_specs: Node Login-1 unexpectedly rebooted boot_time=1726123354 last response=1726123285

Riavvio a causa dell'applicazione di patch

Spesso è necessario un riavvio dopo l'applicazione delle patch. Non applicare le patch direttamente a un'istanza EC2 che fa parte di un gruppo di nodi di calcolo AWS PCS. Se devi applicare le patch alle tue istanze EC2, devi applicare le patch a un'Amazon Machine Image (AMI) aggiornata e aggiornare i gruppi di nodi di calcolo per utilizzare l'AMI aggiornata. Le nuove istanze EC2 lanciate AWS da PCS per quei gruppi di nodi di calcolo utilizzeranno l'AMI aggiornata (con patch). Per ulteriori informazioni, consulta Immagini di macchine Amazon personalizzate (AMIs) per AWS PCS.