Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aufgabenverwaltung für die Modellbereitstellung auf HyperPod

In diesem Abschnitt wird beschrieben, wie Sie Ihre gemeinsam genutzten Amazon SageMaker HyperPod EKS-Cluster für Inferenz-Workloads in Echtzeit optimieren können. Sie lernen, wie Sie die Aufgaben-Governance-Features von Kueue konfigurieren – darunter Kontingentverwaltung, Prioritätsplanung und Richtlinien zur gemeinsamen Nutzung von Ressourcen –, um sicherzustellen, dass Ihre Inferenz-Workloads bei Traffic-Spitzen die benötigten GPU-Ressourcen erhalten und gleichzeitig eine faire Zuweisung für die Trainings-, Bewertungs- und Testaktivitäten Ihrer Teams gewährleistet ist. Weitere SageMaker HyperPod Verwaltung der Aufgaben allgemeine Informationen zur Aufgabenverwaltung finden Sie unter.

So funktioniert das Inferenz-Workload-Management

Um Datenverkehrsspitzen in Echtzeit in gemeinsam genutzten HyperPod EKS-Clustern effektiv zu bewältigen, implementieren Sie mithilfe der vorhandenen Funktionen von Kueue die folgenden Strategien zur Aufgabenverwaltung.

Konfiguration der Prioritätsklasse

Definieren Sie dedizierte Prioritätsklassen für Inferenz-Workloads mit hohen Gewichtungen (z. B. 100), um sicherzustellen, dass Inferenz-Pods vor anderen Aufgabentypen zugelassen und geplant werden. Diese Konfiguration ermöglicht es Inferenz-Workloads, Jobs mit niedrigerer Priorität während der Clusterlast zuvorzukommen, was für die Einhaltung niedriger Latenzanforderungen bei hohen Datenverkehrszahlen entscheidend ist.

Größe und Zuteilung von Kontingenten

Reservieren Sie ausreichend GPU-Ressourcen in Ihrem TeamClusterQueue, um erwartete Inferenzspitzen zu bewältigen. In Zeiten mit geringem Inferenzverkehr können ungenutzte Quotenressourcen vorübergehend den Aufgaben anderer Teams zugewiesen werden. Wenn der Bedarf an Inferenzen steigt, können diese geliehenen Ressourcen zurückgewonnen werden, um ausstehende Inferenz-Pods zu priorisieren. Weitere Informationen finden Sie unter Cluster-Warteschlange.

Strategien zur gemeinsamen Nutzung von Ressourcen

Wählen Sie zwischen zwei Anwesungen zur Aufteilung der Kontingente, die Ihren Anforderungen entsprechen:

Intra-Team Präventivmaßnahmen

Aktivieren Sie die teaminterne Präemption, wenn gemischte Workloads (Evaluierung, Schulung und Inferenz) unter demselben Kontingent ausgeführt werden. Dadurch kann Kueue Aufgaben mit niedrigerer Priorität innerhalb Ihres Teams vorrangig behandeln, um Pods mit hoher Priorität zu berücksichtigen, und so sicherstellen, dass die Echtzeit-Inferenz ohne externe Kontingentausleihe ausgeführt werden kann. Weitere Informationen finden Sie unter Präemption.

Beispiel für die Einrichtung eines Inferenz-Workloads

Das folgende Beispiel zeigt, wie Kueue GPU-Ressourcen in einem gemeinsam genutzten Amazon-Cluster verwaltet. SageMaker HyperPod

Clusterkonfiguration und Richtlinieneinrichtung

Ihr Cluster hat die folgende Konfiguration:

Der gemeinsam genutzte GPU-Pool verwendet diese Prioritätsrichtlinie:

In der Warteschlange werden Teamkontingente und Prioritätsklassen durchgesetzt, wobei Präemption und Quotenausleihe aktiviert sind.

Ausgangszustand: Normale Clusterauslastung

Im Normalbetrieb:

Inferenzanstieg: Team B benötigt zusätzliche GPUs

Wenn Team B einen Anstieg des Datenverkehrs verzeichnet, benötigen zusätzliche Inferenz-Pods 5 weitere P4-GPUs. Kueue stellt fest, dass es sich bei den neuen Pods um:

Bei der Reaktion von Kueue wird zwischen zwei Optionen gewählt:

Option 1: Quotenausleihe – Wenn Team A nur 6 seiner 10 P4 verwendet, kann Kueue die Pods von Team B zulassen, die die 4 P4 im Leerlauf verwenden. Diese geliehenen Ressourcen sind jedoch präventiv – wenn Team A Aufträge einreicht, um sein volles Kontingent zu erreichen, entfernt Kueue die geliehenen Inferenzkapseln von Team B.

Option 2: Self-preemption (Empfohlen) — Team B führt Bewertungsaufträge mit niedriger Priorität aus (Priorität 50). Wenn Inferenz-Pods mit hoher Priorität warten, nimmt Kueue die Evaluierungsjobs innerhalb des Kontingents von Team B vor und lässt die Inferenz-Pods zu. Dieser Ansatz ermöglicht eine sichere Ressourcenzuweisung ohne das Risiko einer externen Räumung.

Kueue folgt einem dreistufigen Prozess zur Zuweisung von Ressourcen:

Konfiguration der Aufgabensteuerung für Inferenz-Workloads

Um Ihre Inferenz-Workloads in Kueue zu integrieren, fügen Sie Ihrer CRD Aufgaben-Governance-Labels hinzu. InferenceEndpointConfig JumpStartModel Diese Labels legen fest, wer die Arbeitslast für die Kontingentverwaltung LocalQueue erhält, und definieren die Planungspriorität, die bei Präventiventscheidungen verwendet wird. In den folgenden Abschnitten werden Voraussetzungen, Ressourcenumfang, Labelkonfiguration und Überprüfungsschritte behandelt.

Voraussetzungen

Bevor Sie die Task-Governance für Inferenz-Workloads konfigurieren, stellen Sie sicher, dass die folgenden Ressourcen in Ihrem Cluster vorhanden sind: HyperPod

Führen Sie die folgenden Befehle aus, um zu überprüfen, ob diese Ressourcen verfügbar sind:

# Verify Kueue is installed
kubectl get crd | grep kueue

# List available PriorityClasses
kubectl get priorityclass

# List ClusterQueues
kubectl get clusterqueue

# List LocalQueues in your namespace
kubectl get localqueue -n <your-namespace>

Grundlegendes zum Ressourcenumfang

Ressourcen zur Aufgabenverwaltung haben unterschiedliche Bereiche, die sich darauf auswirken, wie Sie Ihre Labels für die Inferenzbereitstellung konfigurieren.

Das kueue.x-k8s.io/queue-name Label muss auf ein verweisen LocalQueue , das im selben Namespace wie Ihr oder existiert. InferenceEndpointConfig JumpStartModel Wenn in diesem Namespace keine Übereinstimmung gefunden LocalQueue wird, wird die Arbeitslast von Kueue nicht akzeptiert.

ClusterQueue ResourceFlavor, und PriorityClass sind clusterübergreifend und von jedem Namespace aus zugänglich.

Gehen Sie wie folgt vor, um den Ressourcenbereich in Ihrem Cluster zu überprüfen:

kubectl api-resources | grep kueue

Hinzufügen von Bezeichnungen für die Aufgabenverwaltung

Um die Aufgabensteuerung für Ihre Inferenzbereitstellung zu aktivieren, fügen Sie dem metadata Abschnitt Ihrer InferenceEndpointConfig oder JumpStartModel CRD die folgenden Bezeichnungen hinzu:

metadata:
  name: <your-deployment-name>
  namespace: <your-namespace>
  labels:
    kueue.x-k8s.io/queue-name: <your-localqueue-name>
    kueue.x-k8s.io/priority-class: <your-priority-class>

Beschreibungen der Labels:

Die Konfiguration der Aufgabenverwaltung wird überprüft

Nachdem Sie Ihre InferenceEndpointConfig oder JumpStartModel die Task-Governance-Labels angebracht haben, überprüfen Sie, ob Kueue die Arbeitslast zugelassen hat und die Pods korrekt geplant werden.

Wenn die Pods weiterhin im Pending Status sind, stellen Sie fest, ob das Problem auf der Kueue-Zulassungsebene (Workload wird angezeigtAdmitted: False) oder auf der Kubernetes-Scheduler-Ebene (Workload zugelassen, Pod jedoch nicht planbar) liegt.