Modellbereitstellung in SageMaker AI

Sobald Sie ein Modell für die Produktion trainiert und freigegeben haben, können Sie SageMaker AI verwenden, um Ihr Modell für Echtzeit-Inferenzen auf einem Endpunkt bereitzustellen. SageMaker AI bietet mehrere Inferenzoptionen. So können Sie diejenige Option auswählen, die am besten zu Ihrem Workload passt: Sie konfigurieren Ihren Endpunkt auch, indem Sie den Instance-Typ und die Anzahl der Instances auswählen, die Sie für eine optimale Leistung benötigen. Details zu den Modellbereitstellungen finden Sie unter Modelle für Inference einsetzen.

Nachdem Sie Ihre Modelle in der Produktion eingesetzt haben, sollten Sie nach Möglichkeiten suchen, die Modellleistung weiter zu optimieren und gleichzeitig die Verfügbarkeit Ihrer aktuellen Modelle aufrechtzuerhalten. Sie können beispielsweise einen Shadow-Test einrichten, um ein anderes Modell oder eine andere Modell-Server-Infrastruktur auszuprobieren, bevor Sie sich für die Änderung entscheiden. SageMaker AI stellt das neue Modell, den Container oder die neue Instance im Schattenmodus bereit und leitet eine Kopie der Inferenzanfragen in Echtzeit innerhalb desselben Endpunkts an diese weiter. Sie können die Antworten der Shadow-Variante zum Vergleich protokollieren. Einzelheiten zu Shadow-Tests finden Sie unter Schattentests. Wenn Sie sich entscheiden, Ihr Modell zu ändern, helfen Ihnen Deployment Guardrails dabei, die Umstellung vom aktuellen Modell auf ein neues zu kontrollieren. Sie können Methoden wie Blau/Grün- oder Kanarientests für den Traffic Shifting-Prozess wählen, um während des Updates eine detaillierte Kontrolle zu behalten. Weitere Informationen zu Leitlinien zur Bereitstellung finden Sie unter Bereitstellungsleitlinien für die Aktualisierung von Modellen in der Produktion.