Bereitstellen eines Modells in Studio

Um JumpStart Foundation-Modelle bereitzustellen, navigieren Sie in der Studio-Benutzeroberfläche zu einer Modelldetailkarte. Weitere Informationen zum Öffnen JumpStart in Studio finden Sie unterIn Studio öffnen JumpStart. Nachdem Sie zur Modelldetailseite Ihrer Wahl navigiert haben, wählen Sie in der oberen rechten Ecke der Studio-Benutzeroberfläche die Option Bereitstellen aus. Folgen Sie anschließend den Schritten unter Bereitstellen von Modellen mit SageMaker Studio.

Amazon bietet SageMaker JumpStart auch optimierte Bereitstellungen an, die vordefinierte Bereitstellungskonfigurationen für bestimmte Anwendungsfälle wie Inhaltsgenerierung, Zusammenfassung oder Interaktionen im Chat-Stil bieten. Bei der Bereitstellung eines unterstützten Modells können Sie Ihren Zielanwendungsfall und eine Einschränkungsoptimierung wählen — Kostenoptimiert, Durchsatzoptimiert, Latenzoptimiert oder Ausgewogen — und Amazon konfiguriert SageMaker JumpStart automatisch den Endpunkt für dieses Szenario. Auf diese Weise erhalten Sie Einblick in wichtige Leistungskennzahlen wie P50-Latenz time-to-first-token (TTFT) und Durchsatz und stellen gleichzeitig sicher, dass die Bereitstellung auf Ihre Arbeitslast abgestimmt ist. Öffnen Sie zunächst die Detailseite eines unterstützten Modells in Studio, wählen Sie Bereitstellen und konfigurieren Sie im Leistungsbereich Ihre optimierte Bereitstellung.