Bereitstellen eines Modells

Um ein mit Amazon SageMaker Neo kompiliertes Modell an einem HTTPS-Endpunkt bereitzustellen, müssen Sie den Endpunkt für das Modell mithilfe der Hosting-Services von Amazon SageMaker AI konfigurieren und erstellen. Derzeit können Entwickler Amazon SageMaker APIs verwenden, um Module auf ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 und ml.inf1-Instances einzusetzen.

Für Inferentia- und Trainium-Instances müssen die Modelle speziell für diese Instances kompiliert werden. Modelle, die für andere Instance-Typen kompiliert wurden, funktionieren nicht garantiert mit Inferentia- oder Trainium-Instances.

Wenn Sie ein kompiliertes Modell bereitstellen, müssen Sie für das Ziel die gleiche Instance verwenden, die Sie auch für die Kompilierung verwendet haben. So wird ein SageMaker-AI-Endpunkt erstellt, den Sie für Inferenzen verwenden können. Sie können ein Neo-kompiliertes Modell mit einer der folgenden Optionen bereitstellen: Amazon SageMaker AI SDK für Python, SDK für Python (Boto3), AWS Command Line Interface, und die SageMaker-AI-Konsole.