Una instancia EC2 en AWS La PCS finaliza y se reemplaza tras el reinicio

Descripción general del problema

Después de reiniciar una instancia EC2 de un grupo de nodos de procesamiento, AWS PCS termina la instancia automáticamente y la reemplaza.

Por qué ocurre esto

AWS PCS no admite el reinicio de instancias. Si se reinicia una instancia EC2, AWS PCS considera que la instancia no está en buen estado y la reemplaza. Si AWS PCS termina y reemplaza sus instancias de forma continua, puede deberse a que algo las reinicie una vez lanzadas. Algunos ejemplos incluyen el reinicio automatizado de la instancia EC2 (por ejemplo, un reinicio automático después de aplicar un parche), la automatización externa a la instancia EC2 (como una aplicación de administración de redes), otro AWS servicio (por ejemplo) o el reinicio manual AWS Systems Manager realizado por una persona.

Solución

Puedes comprobar tus slurmctld slurmd registros para ver si la instancia se reinició. Para obtener más información, consulte El planificador inicia sesión en AWS PCS y Supervisión AWS Instancias de PCS que utilizan Amazon CloudWatch. El siguiente ejemplo de entrada de slurmctld registro indica que la instancia se reinició:

[2024-09-12T06:42:50.393+00:00] validate_node_specs: Node Login-1 unexpectedly rebooted boot_time=1726123354 last response=1726123285

Se está reiniciando debido a la aplicación de parches

Con frecuencia es necesario reiniciar el equipo después de aplicar los parches. No aplique los parches directamente a una instancia EC2 que forme parte de un grupo de nodos de procesamiento de AWS PCS. Si debe aplicar parches a sus instancias EC2, debe aplicarlos a una imagen de máquina de Amazon (AMI) actualizada y actualizar los grupos de nodos de procesamiento para que usen la AMI actualizada. Las nuevas instancias EC2 que AWS PCS lance para esos grupos de nodos de procesamiento utilizarán la AMI actualizada (parcheada). Para obtener más información, consulte Imágenes personalizadas de Amazon Machine (AMIs) para AWS PCS.