Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Governance delle attività per l'implementazione del modello su HyperPod

Questa sezione spiega come ottimizzare i cluster Amazon SageMaker HyperPod EKS condivisi per carichi di lavoro di inferenza in tempo reale. Imparerai a configurare le funzionalità di governance delle attività di Kueue, tra cui la gestione delle quote, la pianificazione delle priorità e le politiche di condivisione delle risorse, per garantire che i carichi di lavoro di inferenza ottengano le risorse GPU di cui hanno bisogno durante i picchi di traffico, mantenendo al contempo un'equa allocazione tra le attività di formazione, valutazione e test dei tuoi team. Per informazioni SageMaker HyperPod governance delle attività più generali sulla governance delle attività, consulta.

Come funziona la gestione del carico di lavoro di inferenza

Per gestire efficacemente i picchi di traffico di inferenza in tempo reale nei cluster HyperPod EKS condivisi, implementa le seguenti strategie di governance delle attività utilizzando le funzionalità esistenti di Kueue.

Configurazione della classe di priorità

Definisci classi di priorità dedicate per carichi di lavoro di inferenza con pesi elevati (ad esempio 100) per garantire che i pod di inferenza siano ammessi e programmati prima di altri tipi di attività. Questa configurazione consente ai carichi di lavoro di inferenza di anticipare i lavori con priorità più bassa durante il caricamento del cluster, il che è fondamentale per mantenere i requisiti di bassa latenza durante i picchi di traffico.

Dimensionamento e allocazione delle quote

Riserva al tuo team risorse GPU sufficienti ClusterQueue per gestire i picchi di inferenza previsti. Durante i periodi di basso traffico di inferenza, le quote di risorse inutilizzate possono essere temporaneamente assegnate alle attività di altri team. Quando la domanda di inferenza aumenta, queste risorse prese in prestito possono essere recuperate per dare priorità ai pod di inferenza in sospeso. Per ulteriori informazioni, vedere Cluster Queue.

Strategie di condivisione delle risorse

Scegliete tra due approcci di condivisione delle quote in base alle vostre esigenze:

Prelazione all'interno della squadra

Abilita la priorità all'interno del team quando esegui carichi di lavoro misti (valutazione, formazione e inferenza) nell'ambito della stessa quota. Ciò consente a Kueue di anticipare i lavori a bassa priorità all'interno del team per ospitare pod di inferenza ad alta priorità, garantendo che l'inferenza in tempo reale possa essere eseguita senza dipendere dal prestito di quote esterne. Per ulteriori informazioni, consulta Preemption.

Esempio di configurazione del carico di lavoro di inferenza

L'esempio seguente mostra come Kueue gestisce le risorse GPU in un cluster Amazon condiviso. SageMaker HyperPod

Configurazione del cluster e impostazione delle politiche

Il cluster ha la seguente configurazione:

Il pool di GPU condiviso utilizza questa politica di priorità:

Kueue applica le quote di squadra e le classi di priorità, con la prelazione e il prestito di quote abilitati.

Stato iniziale: utilizzo normale del cluster

Nelle normali operazioni:

Picco di inferenza: il Team B richiede ulteriori GPUs

Quando il Team B subisce un picco di traffico, i pod di inferenza aggiuntivi richiedono altri 5 P4. GPUs Kueue rileva che i nuovi pod sono:

Il processo di risposta di Kueue sceglie tra due opzioni:

Opzione 1: prestito di quote - Se il Team A utilizza solo 6 dei suoi 10 P4, Kueue può ammettere i pod del Team B utilizzando i 4 P4 inattivi. Tuttavia, queste risorse prese in prestito sono presvuotabili: se il Team A invia incarichi per raggiungere la quota massima, Kueue sgombererà i pod di inferenza presi in prestito dal Team B.

Opzione 2: Auto-prelazione (consigliata): il team B esegue lavori di valutazione a bassa priorità (priorità 50). Quando i pod di inferenza ad alta priorità sono in attesa, Kueue anticipa i lavori di valutazione entro la quota del Team B e ammette i pod di inferenza. Questo approccio offre un'allocazione sicura delle risorse senza rischi di sfratto esterno.

Kueue segue un processo in tre fasi per allocare le risorse: