Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Orchestrierung von Clustern mit Amazon EKS SageMaker HyperPod
SageMaker HyperPod ist ein SageMaker AI-managed Service, der das groß angelegte Training von Basismodellen auf langlebigen und belastbaren Rechenclustern ermöglicht und zur Orchestrierung der HyperPod Rechenressourcen in Amazon EKS integriert wird. Mithilfe von Amazon EKS-Clustern mit HyperPod Stabilitätsfunktionen, die nach verschiedenen Hardwareausfällen suchen und fehlerhafte Knoten automatisch wiederherstellen, können Sie ununterbrochene Trainingsjobs über Wochen oder Monate im großen Maßstab ausführen.
Zu den wichtigsten Features für Clusteradministratoren gehören die folgenden.
-
Bereitstellung HyperPod robuster Cluster und deren Anbindung an eine EKS-Steuerungsebene
-
Ermöglicht dynamisches Kapazitätsmanagement, wie das Hinzufügen weiterer Knoten, das Aktualisieren von Software und das Löschen von Clustern.
-
Direkter Zugriff auf die Cluster-Instances über oder
kubectlSSM/SSH -
Bereitstellung von Resilienzfunktionen, einschließlich grundlegender Zustandschecks, umfassender Gesundheitschecks, eines Beauftragten für die Gesundheitsüberwachung und Unterstützung bei der automatischen Wiederaufnahme der Arbeit PyTorch
-
Integration mit Observability-Tools wie Amazon CloudWatch Container Insights, Amazon Managed Service for Prometheus und Amazon Managed Grafana https://docs.aws.amazon.com/grafana/latest/userguide/what-is-Amazon-Managed-Service-Grafana.html
Für Benutzer von Datenwissenschaftlern ermöglicht die EKS-Unterstützung Folgendes. HyperPod
-
Ausführung containerisierter Workloads zum Trainieren von Foundation-Modellen auf dem Cluster HyperPod
-
Ausführen von Inferenzen auf dem EKS-Cluster unter Nutzung der Integration zwischen und EKS HyperPod
-
Nutzung der Funktion zur automatischen Wiederaufnahme von Aufträgen für das Kubeflow-Training () PyTorch PyTorchJob
Anmerkung
Amazon EKS ermöglicht die benutzerverwaltete Orchestrierung von Aufgaben und Infrastruktur SageMaker HyperPod über die Amazon EKS Control Plane. Stellen Sie sicher, dass der Benutzerzugriff auf den Cluster über den Kubernetes-API-Server-Endpunkt dem Prinzip der geringsten Rechte folgt und dass der Netzwerkausgang aus dem Cluster gesichert ist. HyperPod
Weitere Informationen zur Sicherung des Zugriffs auf den API-Server von Amazon EKS finden Sie unter Steuern des Netzwerkzugriffs auf den Cluster-API-Serverendpunkt.
Weitere Informationen zum Sichern des Netzwerkzugriffs auf finden Sie unter. HyperPod Einrichtung SageMaker HyperPod mit einer benutzerdefinierten Amazon VPC
Die übergeordnete Architektur der Amazon EKS-Unterstützung in HyperPod beinhaltet eine 1-zu-1-Zuordnung zwischen einem EKS-Cluster (Steuerungsebene) und einem HyperPod Cluster (Worker-Knoten) innerhalb einer VPC, wie im folgenden Diagramm dargestellt.
