Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Solución de errores en el envío de trabajos debido al MaxJobCount límite
Problema: no se pueden enviar trabajos y aparece el siguiente mensaje de error:
sbatch: error: Slurm temporarily unable to accept job, sleeping and retrying
Este error se produce incluso cuando el número de trabajos pendientes y en ejecución parece estar muy por debajo del límite de trabajos del clúster.
Causa: el MaxJobCount límite incluye todos los trabajos rastreados por Slurm, no solo los trabajos en ejecución o pendientes. Los trabajos finalizados permanecen en la memoria de Slurm durante un período de tiempo (de forma predeterminada, 5 minutos) antes de ser purgados. Durante los períodos de alto rendimiento de los trabajos, el recuento total de los trabajos activos y los finalizados recientemente puede superar el límite.
Para verificar el recuento total de trabajos, ejecute el siguiente comando en un nodo del clúster:
scontrol show jobs | grep -c JobId
Muestra el número total de trabajos que Slurm está rastreando, incluidos los trabajos finalizados que están pendientes de ser eliminados.
Solución: considere uno de los siguientes enfoques:
-
Cree un clúster más grande: si su carga de trabajo requiere constantemente más trabajos simultáneos, cree un clúster nuevo con un tamaño mayor. Para obtener más información sobre los tamaños de los clústeres y sus límites, consulteTamaño del clúster en AWS PCS.
-
Reduzca la tasa de envío de trabajos: ajuste sus guiones de envío de trabajos para enviar los trabajos a un ritmo más lento, lo que permitirá eliminar el tiempo de finalización de los trabajos del seguimiento de Slurm.
