Autoscaling auf EKS SageMaker HyperPod - Amazon SageMaker KI
Voraussetzungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Autoscaling auf EKS SageMaker HyperPod

Amazon SageMaker HyperPod bietet eine verwaltete, auf Karpenter basierende Node-Autoscaling-Lösung für Cluster, die mit EKS-Orchestrierung erstellt wurden. Karpenter ist ein Open-Source-Kubernetes-Node-Lifecycle-Manager, der entwickelt wurde, um die Cluster-Skalierung und Kosteneffizienz zu optimieren. AWS Im Gegensatz zu selbstverwalteten Karpenter-Deployments entfällt bei SageMaker HyperPod der verwalteten Implementierung der betriebliche Aufwand für die Installation, Konfiguration und Wartung von Karpenter Controllern und bietet gleichzeitig integrierte Stabilität und Fehlertoleranz. Diese verwaltete Autoscaling-Lösung basiert auf HyperPod den Funktionen zur kontinuierlichen Bereitstellung und ermöglicht Ihnen eine effiziente Skalierung der Rechenressourcen für Schulungs- und Inferenz-Workloads mit automatischer Fehlerbehandlung und Wiederherstellung.

Sie zahlen nur das, was Sie nutzen. Sie sind dafür verantwortlich, für alle Recheninstanzen zu bezahlen, die automatisch durch Autoscaling gemäß den Standardpreisen bereitgestellt werden. SageMaker HyperPod Detaillierte Preisinformationen finden Sie unter Amazon SageMaker AI.

Wenn Sie die Karpenter-basierte Autoskalierung mit aktivieren HyperPod, haben Sie Zugriff auf:

  • Service-Managed Lifecycle — HyperPod kümmert sich um die Installation, Updates und Wartung von Karpenter, wodurch der betriebliche Aufwand entfällt.

  • Just-in-Time-Bereitstellung — Karpenter beobachtet Ihre ausstehenden Pods und stellt die benötigte Rechenleistung für Ihre Workloads aus einem On-Demand-Pool bereit.

  • Auf Null skalieren — Skalieren Sie auf null Knoten herunter, ohne eine dedizierte Controller-Infrastruktur aufrechtzuerhalten.

  • Auswahl von Knoten unter Berücksichtigung des Workloads – Karpenter wählt die optimalen Instance-Typen basierend auf Pod-Anforderungen, Verfügbarkeitszonen und Preisen aus, um die Kosten zu minimieren.

  • Automatische Knotenkonsolidierung — Karpenter bewertet Cluster regelmäßig im Hinblick auf Optimierungsmöglichkeiten und verlagert die Workloads, um nicht ausgelastete Knoten zu eliminieren.

  • Integrierte Ausfallsicherheit — Nutzt die integrierten HyperPod Mechanismen für Fehlertoleranz und Knotenwiederherstellung.

In den folgenden Themen wird erklärt, wie HyperPod Autoscaling mit Karpenter aktiviert wird.

Themen

Voraussetzungen

  • Kontinuierliches Provisioning ist auf Ihrem Cluster aktiviert. HyperPod Aktivieren Sie die kontinuierliche Bereitstellung, indem Sie Continuous bei der Erstellung Ihres SageMaker HyperPod Clusters --node-provisioning-mode auf einstellen. Weitere Informationen finden Sie unter Kontinuierliche Bereitstellung für erweiterte Cluster-Operationen auf Amazon EKS.

  • Health Monitoring Agent Version 1.0.742.0_1.0.241.0 oder höher ist installiert. Erforderlich für den Betrieb und die Überwachung des HyperPod Clusters. Der Agent muss konfiguriert werden, bevor die automatische Skalierung von Karpenter aktiviert wird, um die ordnungsgemäße Berichterstattung über den Clusterstatus und die Verwaltung des Knotenlebenszyklus sicherzustellen. Weitere Informationen finden Sie unter System zur Gesundheitsüberwachung.

  • Nur wenn auf Ihrem Amazon EKS-Cluster Karpenter ausgeführt wird, müssen Karpenter NodePool und die NodeClaim Versionen v1 sein.

  • NodeRecoveryauf automatisch eingestellt. Weitere Informationen finden Sie unter Automatische Wiederherstellung von Knoten.