View a markdown version of this page

Stellen Sie Modelle JumpStart mithilfe von Amazon SageMaker Studio bereit - Amazon SageMaker KI
VoraussetzungenErstellen Sie eine Bereitstellung HyperPodBearbeiten Sie eine Bereitstellung HyperPodLöschen Sie eine Bereitstellung HyperPod

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie Modelle JumpStart mithilfe von Amazon SageMaker Studio bereit

Die folgenden Schritte zeigen Ihnen, wie Sie Modelle JumpStart mithilfe von Amazon SageMaker Studio bereitstellen.

Voraussetzungen

Stellen Sie sicher, dass Sie Inferenzfunktionen auf Ihren SageMaker HyperPod Amazon-Clustern eingerichtet haben. Weitere Informationen finden Sie unter Richten Sie Ihre HyperPod Cluster für die Modellbereitstellung ein.

Erstellen Sie eine Bereitstellung HyperPod

  1. Öffnen Sie in Amazon SageMaker Studio die JumpStart Landingpage im linken Navigationsbereich.

  2. Wählen Sie unter Alle öffentlichen Modelle ein Modell aus, das Sie bereitstellen möchten.

    Anmerkung

    Wenn Sie ein geschlossenes Modell ausgewählt haben, müssen Sie die Endbenutzer-Lizenzvereinbarung (EULA) akzeptieren.

  3. Wählen Sie SageMaker HyperPod.

  4. Unter Bereitstellungseinstellungen JumpStart wird eine Instance für die Bereitstellung empfohlen. Sie können diese Einstellungen bei Bedarf anpassen.

    1. Wenn Sie den Instanztyp ändern, stellen Sie sicher, dass er mit dem ausgewählten HyperPod Cluster kompatibel ist. Wenn es keine kompatiblen Instances gibt, müssen Sie einen neuen HyperPod Cluster auswählen oder Ihren Administrator kontaktieren, um kompatible Instances zum Cluster hinzuzufügen.

    2. Um die Modellbereitstellung zu priorisieren, installieren Sie das Task Governance-Addon, erstellen Sie Rechenzuweisungen und richten Sie Aufgabenranglisten für die Cluster-Richtlinie ein. Anschließend sollte eine Option zur Auswahl einer Priorität für die Modellbereitstellung angezeigt werden, die zur Vorrangigkeit gegenüber anderen Bereitstellungen und Aufgaben im Cluster verwendet werden kann.

    3. Geben Sie den Namespace ein, auf den Ihr Administrator Ihnen Zugriff gewährt hat. Möglicherweise müssen Sie sich direkt an Ihren Administrator wenden, um den genauen Namespace zu erhalten. Sobald ein gültiger Namespace bereitgestellt wurde, sollte die Schaltfläche Bereitstellen aktiviert sein, um das Modell bereitzustellen.

    4. Wenn Ihr Instance-Typ partitioniert ist (MIG-fähig), wählen Sie einen GPU-Partitionstyp aus.

    5. Wenn Sie L2 KVCache oder Intelligent Routing zur Beschleunigung der LLM-Inferenz aktivieren möchten, aktivieren Sie sie. Standardmäßig ist nur L1 KV Cache aktiviert. Weitere Informationen zu KVCache und intelligentem Routing finden Sie unter SageMaker HyperPod Modellbereitstellung.

  5. Wählen Sie Deploy und warten Sie, bis der Endpoint erstellt ist.

  6. Nachdem der Endpunkt erstellt wurde, wählen Sie Test Inference aus.

Bearbeiten Sie eine Bereitstellung HyperPod

  1. Wählen Sie in Amazon SageMaker Studio im linken Navigationsbereich Compute und dann HyperPod Cluster aus.

  2. Wählen Sie unter Bereitstellungen die HyperPod Cluster-Bereitstellung aus, die Sie ändern möchten.

  3. Wählen Sie auf dem Symbol mit den vertikalen Auslassungspunkten () die Option Bearbeiten aus.

  4. Unter Bereitstellungseinstellungen können Sie die Anzahl der Replikate aktivieren oder deaktivieren Auto-scaling und die Anzahl der Max. Replikate ändern.

  5. Wählen Sie Speichern aus.

  6. Der Status ändert sich in Aktualisierung. Sobald der Status wieder in Betrieb ist, sind Ihre Änderungen abgeschlossen und Sie erhalten eine Bestätigungsmeldung.

Löschen Sie eine Bereitstellung HyperPod

  1. Wählen Sie in Amazon SageMaker Studio im linken Navigationsbereich Compute und dann HyperPod Cluster aus.

  2. Wählen Sie unter Bereitstellungen die HyperPod Cluster-Bereitstellung aus, die Sie ändern möchten.

  3. Wählen Sie auf dem Symbol mit den vertikalen Auslassungspunkten () die Option Löschen aus.

  4. Wählen Sie im Fenster „ HyperPod Bereitstellung löschen“ das Kontrollkästchen aus.

  5. Wählen Sie Löschen aus.

  6. Der Status ändert sich zu Löschen. Sobald die HyperPod Bereitstellung gelöscht wurde, wird eine Meldung angezeigt, in der dies bestätigt wird.