Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Die Dokumentation zum LMI-Container (Large Model Inference)
Die Dokumentation für LMI-Container (Large Model Inference)
Die Dokumentation richtet sich an Entwickler, Datenwissenschaftler und Machine-Learning-Ingenieure, die große Sprachmodelle (LLMs) auf Amazon SageMaker AI bereitstellen und optimieren müssen. Sie hilft Ihnen bei der Verwendung von LMI-Containern, bei denen es sich um spezialisierte Docker-Container für die LLM-Inferenz handelt, die von AWS bereitgestellt werden. Sie bietet einen Überblick, Bereitstellungsleitfäden, Benutzerhandbücher für unterstützte Inferenzbibliotheken und weiterführende Tutorials.
Mithilfe der LMI-Container-Dokumentation können Sie:
-
sich mit den Komponenten und der Architektur von LMI-Containern vertraut machen;
-
erfahren, wie Sie den geeigneten Instance-Typ und das passende Backend für Ihren Anwendungsfall auswählen;
-
LLMs auf SageMaker AI mithilfe von LMI-Containern konfigurieren und bereitstellen;
-
die Leistung mithilfe von Features wie Quantisierung, Tensorparallelität und kontinuierlicher Stapelverarbeitung optimieren;
-
Ihre SageMaker-AI-Endpunkte zur Optimierung von Durchsatz und Latenz benchmarken und anpassen.
