Uma instância do EC2 no AWS PCS é encerrada e substituída após a reinicialização

Visão geral do problema

Depois que uma instância do EC2 em um grupo de nós de computação é reinicializada, o AWS PCS encerra e substitui automaticamente a instância.

Por que isso acontece

AWS O PCS não suporta reinicializações de instâncias. Se uma instância do EC2 for reinicializada, o AWS PCS considerará a instância não íntegra e a substituirá. Se o AWS PCS encerra e substitui continuamente suas instâncias, pode ser porque algo reinicializa suas instâncias após a inicialização. Alguns exemplos incluem reinicializações por automação na instância do EC2 (como uma reinicialização automática após a aplicação de patches), automação externa à instância do EC2 (como um aplicativo de gerenciamento de rede), outro AWS serviço (como AWS Systems Manager) ou uma reinicialização manual por uma pessoa.

O que fazer

Você pode verificar seus slurmd registros slurmctld ou para ver se sua instância foi reinicializada. Para obter mais informações, consulte Logs do agendador no AWS PCS e Monitoramento de instâncias de AWS PCS usando a Amazon CloudWatch. O exemplo de entrada de slurmctld registro a seguir indica que a instância foi reinicializada:

[2024-09-12T06:42:50.393+00:00] validate_node_specs: Node Login-1 unexpectedly rebooted boot_time=1726123354 last response=1726123285

Reinicializando devido à aplicação de patches

Geralmente, é necessária uma reinicialização após a aplicação dos patches. Não aplique patches diretamente a uma instância do EC2 que faz parte de um grupo de nós de computação do AWS PCS. Se você precisar corrigir suas instâncias do EC2, deverá aplicar seus patches a uma Amazon Machine Image (AMI) atualizada e atualizar seus grupos de nós de computação para usar a AMI atualizada. As novas instâncias do EC2 que o AWS PCS executa para esses grupos de nós de computação usarão a AMI atualizada (corrigida). Para obter mais informações, consulte Imagens personalizadas da Amazon Machine (AMIs) para AWS PCS.