Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation de la planification des gangs dans la gouvernance des SageMaker HyperPod tâches d'Amazon
Dans le cadre de la formation ML distribuée, une tâche nécessite souvent l'exécution simultanée de plusieurs modules sur plusieurs nœuds avec une communication de module à module. HyperPod la gouvernance des tâches utilise la waitForPodsReady fonctionnalité de Kueue pour implémenter la planification des gangs. Lorsque cette option est activée, la charge de travail est surveillée par Kueue jusqu'à ce que tous ses modules soient prêts, ce qui signifie qu'ils sont planifiés, exécutés et passent avec succès la sonde de préparation optionnelle. Si tous les modules de la charge de travail ne sont pas prêts dans le délai d'expiration configuré, la charge de travail est expulsée et mise en file d'attente.
La planification des gangs présente les avantages suivants :
-
Empêche le gaspillage des ressources — Kueue évacue et met en file d'attente la charge de travail si tous les pods ne sont pas prêts, garantissant ainsi que les ressources ne sont pas conservées indéfiniment en raison de charges de travail partiellement exécutées.
-
Évite les blocages : empêche les tâches de contenir des ressources partielles et de se bloquer les unes les autres indéfiniment.
-
Restauration automatique : si les modules ne sont pas prêts dans le délai imparti, la charge de travail est expulsée et mise en file d'attente avec un retard exponentiel configurable, au lieu d'être suspendue indéfiniment.
Activez la planification des gangs
Pour activer la planification des groupes, vous devez disposer d'un cluster HyperPod Amazon EKS sur lequel le module complémentaire Amazon EKS de gouvernance des tâches est installé. Le statut du module complémentaire doit être Active ouDegraded.
Note
La planification des gangs peut également être configurée directement kubectl en modifiant la configuration Kueue sur le cluster.
Activer la planification des gangs (console SageMaker AI)
-
Ouvrez la console Amazon SageMaker AI
et accédez à votre HyperPod cluster. -
Choisissez l'onglet Gestion des politiques.
-
Dans la section Gouvernance des tâches, ouvrez Actions, puis choisissez Configurer la planification des gangs.
-
Activez la planification des gangs et configurez les paramètres.
-
Choisissez Enregistrer. Le contrôleur Kueue redémarre pour appliquer la modification.
Paramètres de configuration de la planification des gangs
Le tableau suivant décrit les paramètres de configuration pour la planification des gangs.
| Paramètre | Description | Par défaut |
|---|---|---|
timeout |
Combien de temps Kueue attend que tous les modules soient prêts avant de les expulser et de faire la queue. | 5 min |
recoveryTimeout |
Durée pendant laquelle Kueue attend la restauration d'un pod après la défaillance d'un nœud avant de mettre la charge de travail en file d'attente. Réglez sur 0s pour désactiver. La valeur par défaut est de timeout si elle n'est pas définie. |
5 min |
blockAdmission |
Lorsque cette option est activée, les charges de travail sont admises de manière séquentielle. Aucune nouvelle charge de travail n'est admise tant que tous les modules de la charge actuelle ne sont pas prêts. Empêche les blocages sur les clusters aux ressources limitées. | Désactivé |
requeuingStrategy timestamp |
Que l'ordre d'attente soit utilisé Creation (heure de soumission initiale, préservation de la position dans la file d'attente) ou Eviction (heure de la dernière expulsion, dépriorisation effective des tâches échouant à plusieurs reprises). |
Expulsion |
requeuingStrategy backoffLimitCount |
Nombre maximal de tentatives de mise en file d'attente avant que Kueue ne désactive définitivement la charge de travail. Laissez ce champ vide pour un nombre illimité de nouvelles tentatives. | Illimité |
requeuingStrategy backoffBaseSeconds |
Temps de base en secondes pour un retard exponentiel lors de la mise en file d'attente d'une charge de travail après chaque délai d'attente consécutif. L'exposant est 2. | Années 60 |
requeuingStrategy backoffMaxSeconds |
Limitez le délai de rétrogradation exponentiel. Une fois atteint, Kueue continue à faire la queue à cet intervalle fixe. | années 3600 |
Note
La modification des paramètres de planification des groupes redémarre le contrôleur Kueue, ce qui peut retarder temporairement l'admission à un poste. Cela s'applique que vous activiez, désactiviez ou mettiez à jour une valeur. Les tâches en cours ne sont pas interrompues.
Note
La planification des gangs s'applique à l'ensemble du cluster. Elle s'applique à toutes les Kueue-managed charges de travail du cluster, et pas uniquement à des équipes ou à des files d'attente spécifiques.
