View a markdown version of this page

Essayer de gérer un travail - AWS ParallelCluster
La tâche interactive srun échoue avec l'erreur srun : erreur : fwd_tree_thread : adresse introuvable pour l'hôte, vérifiez slurm.conf < >La tâche est bloquée dans l'état CF avec la commande squeueExécution de tâches à grande échelle et affichage de nfsd : trop de connexions ouvertes, pensez à augmenter le nombre de threads dans//messages var/logExécution d'une tâche MPI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Essayer de gérer un travail

La section suivante propose des solutions de dépannage possibles si vous rencontrez des problèmes lors de l'exécution d'une tâche.

La tâche interactive srun échoue avec l'erreur srun : erreur : fwd_tree_thread : adresse introuvable pour l'hôte, vérifiez slurm.conf < >

  • Pourquoi est-ce que ça a échoué ?

    Vous avez exécuté la srun commande pour soumettre une tâche, puis vous avez augmenté la taille d'une file d'attente en utilisant la pcluster update-cluster commande sans redémarrer les Slurm démons une fois la mise à jour terminée.

    Slurmorganise Slurm les démons selon une hiérarchie arborescente afin d'optimiser la communication. Cette hiérarchie n'est mise à jour que lorsque les démons démarrent.

    Supposons que vous srun lanciez une tâche, puis que vous exécutiez la pcluster update-cluster commande pour augmenter la taille de la file d'attente. De nouveaux nœuds de calcul sont lancés dans le cadre de la mise à jour. Ensuite, placez votre tâche en file d'Slurmattente vers l'un des nouveaux nœuds de calcul. Dans ce cas, les Slurm démons et srun ne détectent pas les nouveaux nœuds de calcul. srunrenvoie une erreur car il ne détecte pas les nouveaux nœuds.

  • Comment résoudre le problème ?

    Redémarrez les Slurm démons sur tous les nœuds de calcul, puis utilisez-les srun pour soumettre votre tâche. Vous pouvez planifier le redémarrage Slurm des démons en exécutant la scontrol reboot commande qui redémarre les nœuds de calcul. Pour plus d'informations, consultez la section scontrol reboot dans la Slurm documentation. Vous pouvez également redémarrer manuellement les Slurm démons sur les nœuds de calcul en demandant le redémarrage des services correspondantssystemd.

La tâche est bloquée dans l'état CF avec la commande squeue

Cela peut être dû au démarrage des nœuds dynamiques. Pour de plus amples informations, veuillez consulter Affichage d'erreurs dans les initialisations des nœuds de calcul.

Exécution de tâches à grande échelle et affichage de nfsd : trop de connexions ouvertes, pensez à augmenter le nombre de threads dans//messages var/log

Avec un système de fichiers en réseau, lorsque les limites du réseau sont atteintes, le temps I/O d'attente augmente également. Cela peut entraîner des blocages logiciels, car le réseau est utilisé pour écrire des données à la fois pour la mise en réseau et I/O les métriques.

Pour les instances de 5e génération, nous utilisons le pilote ENA pour exposer les compteurs de paquets. Ces compteurs comptent les paquets mis en forme AWS lorsque le réseau atteint les limites de bande passante de l'instance. Vous pouvez vérifier si ces compteurs sont supérieurs à 0. Si tel est le cas, cela signifie que vous avez dépassé vos limites de bande passante. Vous pouvez consulter ces compteurs en courantethtool -S eth0 | grep exceeded.

Le dépassement des limites du réseau est souvent dû à la prise en charge d'un trop grand nombre de connexions NFS. C'est l'une des premières choses à vérifier lorsque vous atteignez ou dépassez les limites du réseau.

Par exemple, la sortie suivante montre les packages supprimés :

$ ethtool -S eth0 | grep exceeded
  bw_in_allowance_exceeded: 38750610
  bw_out_allowance_exceeded: 1165693
  pps_allowance_exceeded: 103
  conntrack_allowance_exceeded: 0
  linklocal_allowance_exceeded: 0

Pour éviter de recevoir ce message, envisagez de remplacer le type d'instance du nœud principal par un type d'instance plus performant. Envisagez de déplacer votre stockage de données vers des systèmes de fichiers de stockage partagé qui ne sont pas exportés en tant que partage NFS, tels qu'Amazon EFS ou Amazon FSx. Pour plus d'informations, consultez Stockage partagé et les meilleures pratiques sur le AWS ParallelCluster Wiki sur GitHub.

Exécution d'une tâche MPI

Activation du mode de débogage

Pour activer le mode de débogage d'OpenMPI, voir Quelles sont les commandes d'Open MPI qui facilitent le débogage.

Pour activer le mode de débogage IntelMPI, consultez la section Autres variables d'environnement.

Affichage de MPI_ERRORS_ARE_FATAL et OPAL ERROR dans le résultat de la tâche

Ces codes d'erreur proviennent de la couche MPI de votre application. Pour savoir comment obtenir les journaux de débogage MPI depuis votre application, consultez. Activation du mode de débogage

Cette erreur peut être due au fait que votre application a été compilée pour une implémentation MPI spécifique, telle qu'OpenMPI, et que vous essayez de l'exécuter avec une implémentation MPI différente, telle qu'IntelMPI. Assurez-vous de compiler et d'exécuter votre application avec la même implémentation MPI.

Utilisation de mpirun avec le DNS géré désactivé

Pour les clusters créés avec SlurmSettings/DNSDns/DisableManagedDnset UseEc2Hostnames définis surtrue, le nom du Slurm nœud n'est pas résolu par le DNS. Slurmpeut démarrer les processus MPI lorsqu'ils nodenames ne sont pas activés et si la tâche MPI est exécutée dans un contexte. Slurm Nous vous recommandons de suivre les instructions du Guide de l'utilisateur Slurm MPI pour exécuter des tâches MPI avec. Slurm