Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Capacity Blocks for ML ermöglichen es Ihnen, GPU-basierte Accelerated Computing-Instances zu einem future Zeitpunkt zu reservieren, um Ihre kurzfristigen Machine-Learning-Workloads (ML) zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden innerhalb von Amazon automatisch nahe beieinander platziert EC2 UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Sie können Kapazitätsblöcke auch verwenden, um Kapazität für Amazon zu reservieren EC2 UltraServers. UltraServers verbinden Sie mehrere EC2 Amazon-Instances innerhalb einer Accelerator-Verbindung mit niedriger Latenz und hoher Bandbreite. Sie können UltraServers es verwenden, um die rechen- und speicherintensivsten AI/ML Workloads in den Bereichen Training, Feinabstimmung und Inferenz zu bewältigen. Weitere Informationen finden Sie auf Amazon EC2 UltraServers.

Mit Kapazitätsblöcken können Sie sehen, wann GPU-Instance-Kapazität an zukünftigen Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten passt. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU-Instance und zahlen nur für die Zeit, die Sie benötigen. Wir empfehlen Capacity Blocks GPUs , wenn Sie Ihre ML-Workloads tage- oder wochenlang unterstützen müssen und nicht für eine Reservierung bezahlen möchten, während Ihre GPU-Instances nicht genutzt werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Modell-Training und Feinabstimmung für Machine Learning (ML) – Erhalten Sie ununterbrochenen Zugriff auf die GPU-Instances, die Sie für die Durchführung des ML-Modell-Trainings und der Feinabstimmung reserviert haben.

  • ML-Experimente und Prototypen – Führen Sie Experimente durch und erstellen Sie Prototypen, die kurzfristig GPU-Instances erfordern.

Sie können einen Kapazitätsblock mit den folgenden Spezifikationen reservieren:

  • Reservieren Sie bis zu 8 Wochen im Voraus eine Startzeit

  • Lege eine Reservierungsdauer von einem bis 14 Tagen oder einem Vielfachen von 7 Tagen bis zu 182 Tagen fest (Beispiele: 21 Tage, 28 Tage)

  • Konfigurieren Sie bis zu 64 Instanzen pro Kapazitätsblock

  • Konfigurieren Sie bis zu 256 Instanzen in mehreren Kapazitätsblöcken

Bei Amazon EC2 UltraServers UltraServer entspricht jeder Block einem Kapazitätsblock. Sie können mit einer UltraServers einzigen Anfrage mehrere anfordern.

Sie können Kapazitätsblöcke verwenden, ump6-b200,p5,p5e,p5en, p4d p4detrn1, und trn2 Instanzen zu reservieren. Sie können die folgenden UltraServer Typen über Capacity Blocks erwerben: P6e-GB200 und Trn2 (in der Vorschauversion).

Um einen Kapazitätsblock zu reservieren, geben Sie zunächst Ihren Kapazitätsbedarf an, einschließlich des Instance-Typs oder UltraServer -Typs, der Anzahl der Instances oder der Zeitspanne UltraServers, des frühesten Startdatums und des spätesten Enddatums, die Sie benötigen. Anschließend wird Ihnen ein verfügbares Kapazitätsblock-Angebot angezeigt, das Ihren Spezifikationen entspricht. Das Angebot für den Kapazitätsblock enthält Details wie Startzeit, Availability Zone und Reservierungspreis. Der Angebotspreis eines Kapazitätsblocks hängt vom verfügbaren Angebot und der Nachfrage zum Zeitpunkt der Bereitstellung des Angebots ab. Nach der Reservierung eines Kapazitätsblocks ändert sich der Preis nicht. Weitere Informationen finden Sie unter Preise und Fakturierung für Kapazitätsblöcke.

Wenn Sie ein Angebot für ein Kapazitätsblock erwerben, wird Ihre Reservierung für das von Ihnen ausgewählte Datum und die Anzahl der Instances erstellt. Wenn Ihre Kapazitätsblock-Reservierung beginnt, können Sie Instances gezielt starten, indem Sie die Reservierungs-ID in Ihren Startanfragen angeben.

Sie können alle Instances, die Sie reserviert haben, bis 30 Minuten (für Instance-Typen) oder 60 Minuten (für UltraServer Typ) vor der Endzeit des Kapazitätsblocks verwenden. Wenn noch 30 Minuten (für Instance-Typen) oder 60 Minuten (für UltraServer Typen) in Ihrer Kapazitätsblock-Reservierung übrig sind, beginnen wir damit, alle Instances zu beenden, die im Capacity-Block ausgeführt werden. Wir nutzen diese Zeit zur Bereinigung Ihrer Instances, bevor wir den Kapazitätsblock dem nächsten Kunden bereitstellen. Bis zu EventBridge 10 Minuten vor Beginn des Kündigungsvorgangs senden wir ein Ereignis aus. Weitere Informationen finden Sie unter Überwachen Sie Kapazitätsblöcke mit EventBridge.

Themen

Unterstützte Plattformen

Capacity Blocks für ML unterstützen derzeit nur Instances und UltraServers zwar nur mit Standard-Tenancy. Wenn Sie den AWS Management Console zum Kauf eines Kapazitätsblocks verwenden, ist die Standardplattformoption Linux/UNIX. Wenn Sie das AWS Command Line Interface (AWS CLI) oder AWS SDK zum Kauf eines Capacity-Blocks verwenden, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL mit HA

  • SUSE Linux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Bei P6e-GB200 UltraServer Kapazitätsblöcken müssen Sie Ihre Instances mindestens 60 Minuten vor dem Ende der Kapazitätsblock-Endzeit beenden.

  • Um P6e-GB200 UltraServer Capacity Blocks verwenden zu können, müssen Sie für die lokale Zone von Dallas (Nord-Virginia) angemeldet sein.

  • Jeder Kapazitätsblock kann bis zu 64 Instances haben, und Sie können bis zu 256 Instances in Kapazitätsblöcken haben.

  • Sie können Kapazitätsblockangebote beschreiben, die bereits in 30 Minuten beginnen können.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierte Weltzeit (UTC).

  • Der Beendigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr koordinierter Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Ein Kapazitätsblock kann nicht verschoben oder aufgeteilt werden.

  • Kapazitätsblöcke können nicht von mehreren AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Kapazitätsblöcke können nicht in einer Gruppe von Kapazitätsreservierungen verwendet werden.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 64 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie für P5-Instances, die ein benutzerdefiniertes AMI verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu verwalteten Amazon EKS-Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks for ML. Informationen zu selbstverwalteten Amazon-EKS-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS ParallelCluster finden Sie unter Was ist AWS ParallelCluster.

Anmerkung

Kapazitätsblockgrößen von 64 Instances werden nicht für alle Instance-Typen in allen AWS-Regionen unterstützt.