Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo della pianificazione delle attività di gruppo in Amazon Task Governance SageMaker HyperPod
Nella formazione sul machine learning distribuito, un job spesso richiede l'esecuzione simultanea di più pod tra nodi con comunicazione pod-to-pod. HyperPod la governance delle attività utilizza la funzionalità di Kueue per implementare la pianificazione dei gruppi. waitForPodsReady Quando è abilitata, il carico di lavoro viene monitorato da Kueue fino a quando tutti i pod sono pronti, ossia programmati, in esecuzione e superano la sonda di prontezza opzionale. Se non tutti i pod del carico di lavoro sono pronti entro il timeout configurato, il carico di lavoro viene eliminato e messo in coda.
La pianificazione dei gruppi offre i seguenti vantaggi:
-
Previene lo spreco di risorse: Kueue rimuove e richiede il carico di lavoro se tutti i pod non sono pronti, assicurando che le risorse non vengano trattenute a tempo indeterminato da carichi di lavoro parzialmente in esecuzione.
-
Evita i blocchi: impedisce ai lavori di trattenere risorse parziali e di bloccarsi a vicenda a tempo indeterminato.
-
Ripristino automatico: se i pod non sono pronti entro il timeout, il carico di lavoro viene eliminato e messo in coda con un backoff esponenziale configurabile, anziché essere sospeso a tempo indeterminato.
Attiva la pianificazione delle bande
Per attivare la pianificazione dei gruppi, devi avere un cluster HyperPod Amazon EKS su cui sia installato il componente aggiuntivo Amazon EKS per la governance delle attività. Lo stato del componente aggiuntivo deve essere o. Active Degraded
Nota
La pianificazione del gruppo può anche essere configurata direttamente kubectl modificando la configurazione di Kueue sul cluster.
Attiva la pianificazione delle bande (console AI) SageMaker
-
Apri la console Amazon SageMaker AI
e accedi al tuo HyperPod cluster. -
Scegli la scheda Gestione delle policy.
-
Nella sezione Gestione delle attività, apri Azioni, quindi scegli Configura la pianificazione dei gruppi.
-
Attiva la pianificazione delle bande e configura le impostazioni.
-
Scegli Save (Salva). Il controller Kueue si riavvia per applicare la modifica.
Impostazioni di configurazione di Gang Scheduling
La tabella seguente descrive le impostazioni di configurazione per la pianificazione dei gruppi.
| Impostazione | Description | Predefinita |
|---|---|---|
timeout |
Per quanto tempo Kueue attende che tutti i pod siano pronti prima di sfrattare e richiedere il carico di lavoro. | 5 min |
recoveryTimeout |
Quanto tempo Kueue attende il ripristino di un pod dopo un guasto del nodo prima di richiedere il carico di lavoro. 0sImposta su per disabilitare. Il valore predefinito è timeout if not set. |
5 min |
blockAdmission |
Se abilitata, i carichi di lavoro vengono ammessi in sequenza. Non è ammesso alcun nuovo carico di lavoro finché tutti i pod di quello attuale non sono pronti. Previene i deadlock sui cluster con risorse limitate. | Disattivata |
requeuingStrategy timestamp |
Indipendentemente dal fatto che l'ordine di richiesta utilizzi Creation (ora di invio originale, preserva la posizione della coda) o Eviction (ora dell'ultimo sfratto, eliminando efficacemente la priorità dei lavori che falliscono ripetutamente). |
Sfratto |
requeuingStrategy backoffLimitCount |
Numero massimo di tentativi di coda prima che Kueue disattivi definitivamente il carico di lavoro. Lascia vuoto per un numero illimitato di tentativi. | Illimitato |
requeuingStrategy backoffBaseSeconds |
Il tempo base in secondi per il backoff esponenziale quando si richiede un carico di lavoro dopo ogni timeout consecutivo. L'esponente è 2. | Anni '60 |
requeuingStrategy backoffMaxSeconds |
Limite al ritardo esponenziale del backoff. Una volta raggiunto, Kueue continua la coda a questo intervallo fisso. | 3600 |
Nota
La modifica delle impostazioni di pianificazione delle bande riavvia il controller Kueue, il che può ritardare temporaneamente l'ammissione al lavoro. Ciò vale indipendentemente dal fatto che si stia abilitando, disabilitando o aggiornando qualsiasi valore. I lavori in esecuzione non vengono interrotti.
Nota
La pianificazione delle bande è a livello di cluster. Si applica a tutti i Kueue-managed carichi di lavoro del cluster, non solo a team o code specifici.
