Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Nächste Schritte zur Inferenz mit Amazon SageMaker AI

Sobald Sie einen Endpunkt haben und den allgemeinen Inference-Workflow verstanden haben, können Sie mit Hilfe der folgenden Funktionen in SageMaker AI Ihren Inference-Workflow verbessern.

Überwachen

Mit dem Model Monitor können Sie Ihr Modell im Lauf der Zeit anhand von Kennzahlen wie Modellgenauigkeit und Modellabweichung verfolgen. Mit dem Model Monitor können Sie Warnmeldungen einrichten, die Sie benachrichtigen, wenn es in der Qualität Ihres Modells zu Abweichungen kommt. Weitere Informationen finden Sie in der Dokumentation zum Model Monitor.

Weitere Informationen zu Tools, mit denen Sie Modellbereitstellungen und Ereignisse überwachen können, die Ihren Endpunkt verändern, finden Sie unter Amazon SageMaker AI überwachen. Sie können z. B. den Zustand Ihres Endpunktes anhand von Kennzahlen wie Aufruffehlern und Modelllatenz mithilfe von Amazon CloudWatch-Kennzahlen überwachen. Die Aufruf-Kennzahlen für einen SageMaker-AI-Endpunkt können Ihnen wertvolle Informationen über die Leistung Ihres Endpunktes liefern.

CI/CD für den Modelleinsatz

Mit SageMaker AI MLOps können Sie in SageMaker AI Machine-Learning-Lösungen zusammenstellen. Mit HIlfe dieser Funktion können Sie die Schritte in Ihrem Workflow für Machine Learning automatisieren und CI/CD üben. Mit MLOps-Projektvorlagen können Sie die Einrichtung und Implementierung der MLOps-Projekte von SageMaker AI unterstützen. SageMaker AI unterstützt auch die Verwendung Ihres eigenen Git-Repositorys von Drittanbietern zum Erstellen eines CI/CD-Systems.

Mit Model Registry für Ihre ML-Pipelines können Sie Ihre Modellversionen sowie die Bereitstellung und Automatisierung Ihrer Modelle verwalten.

Leitlinien für den Einsatz

Wenn Sie Ihr Modell bei laufender Produktion aktualisieren möchten, ohne die Produktion zu beeinträchtigen, können Sie Leitlinien für den Einsatz verwenden. Bereitstellungsleitlinien sind eine Reihe von Optionen für den Modelleinsatz in SageMaker AI Inference, mit denen Sie Ihre Machine-Learning-Modelle bei laufender Produktion aktualisieren können. Mithilfe der vollständig verwalteten Bereitstellungsoptionen können Sie die Umstellung vom aktuellen Modell in der Produktion auf ein neues steuern. Die Betriebsarten zur Verlagerung des Datenverkehrs geben Ihnen die detaillierte Kontrolle über Verlagerung des Datenverkehrs, und integrierte Sicherheitsvorkehrungen wie automatisches Rollback helfen Ihnen dabei, Probleme frühzeitig zu erkennen.

Weitere Informationen zu Leitlinien für den Einsatz finden Sie in der Dokumentation zu Leitlinien für den Einsatz.

Inferentia

Wenn Sie umfangreiche Anwendungen für Machine Learning und Deep Learning ausführen müssen, können Sie eine Inf1-Instance mit einem Echtzeitendpunkt verwenden. Dieser Instance-Typ eignet sich für Anwendungsfälle wie Bild- oder Spracherkennung, natürliche Sprachverarbeitung (NLP), Personalisierung, Prognose oder Betrugserkennung.

Inf1 Instances sind so konzipiert, dass sie Inference-Anwendungen für Machine Learning unterstützen und verfügen über die AWS Inferentia-Chips. Inf1 Instances bieten einen höheren Durchsatz und niedrigere Kosten pro Inferenz als GPU-basierte Instances.

Um auf Inf1 Instances ein Modell einzusetzen, kompilieren Sie Ihr Modell mit SageMaker Neo und wählen Sie eine Inf1 Instance für Ihre Bereitstellungsoption aus. Weitere Informationen finden Sie unter Optimierung der Modellleistung mit SageMaker Neo.

Optimierung der Modellleistung

SageMaker AI bietet Funktionen zur Ressourcenverwaltung und zur Optimierung der Leistung der Inference beim Einsatz von Machine-Learning-Modellen. Sie können die integrierten Algorithmen und vorgefertigten Modelle von SageMaker AI sowie vorgefertigte Docker-Images verwenden, die für Machine Learning entwickelt wurden.

Informationen zum Trainieren von Modellen und deren Optimierung für den Einsatz finden Sie unter Vorgefertigte Docker-Images Die Modellleistung mit SageMaker Neo optimieren. Mit SageMaker Neo können Sie TensorFlow-, Apache MXNet-, PyTorch-, ONNX- und XGBoost-Modelle trainieren. Anschließend können Sie sie optimieren und auf ARM-, Intel- und Nvidia-Prozessoren einsetzen.

Auto Scaling

Wenn der Datenverkehr zu Ihren Endpunkten variiert, sollten Sie vielleicht Auto-Scaling ausprobieren. Beispielsweise benötigen Sie zu Spitzenzeiten eventuell mehr Instances, um Anfragen zu verarbeiten. In Zeiten mit geringem Datenverkehr möchten Sie jedoch vielleicht die Auslastung Ihrer Datenverarbeitungsressourcen reduzieren. Für Informationen zum dynamischen Anpassen der Anzahl der bereitgestellten Instances als Reaktion auf Änderungen der Workload siehe Automatische Skalierung von Amazon SageMaker AI-Modellen.

Wenn Sie unvorhersehbare Datenverkehrsmuster haben oder keine Skalierungsrichtlinien einrichten möchten, können Sie Serverless Inference auch für einen Endpunkt verwenden. Anschließend verwaltet SageMaker AI die automatische Skalierung für Sie. In Zeiten mit geringem Datenverkehr skaliert SageMaker AI Ihren Endpunkt herunter, und wenn der Datenverkehr wieder zunimmt, skaliert SageMaker AI Ihren Endpunkt herauf. Weitere Informationen finden Sie in der Dokumentation zu Modelle mit Amazon SageMaker Serverless Inference bereitstellen.