Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Die Dokumentation zum LMI-Container (Large Model Inference)
Die Dokumentation für LMI-Container (Large Model Inference)
Die Dokumentation richtet sich an Entwickler, Datenwissenschaftler und Ingenieure für maschinelles Lernen, die umfangreiche Sprachmodelle (LLMs) auf Amazon SageMaker AI bereitstellen und optimieren müssen. Es hilft Ihnen bei der Verwendung von LMI-Containern, bei denen es sich um spezialisierte Docker-Container für LLM-Inferenz handelt, die von bereitgestellt werden. AWS Sie bietet einen Überblick, Bereitstellungsleitfäden, Benutzerhandbücher für unterstützte Inferenzbibliotheken und weiterführende Tutorials.
Mithilfe der LMI-Container-Dokumentation können Sie:
-
sich mit den Komponenten und der Architektur von LMI-Containern vertraut machen;
-
erfahren, wie Sie den geeigneten Instance-Typ und das passende Backend für Ihren Anwendungsfall auswählen;
-
Konfiguration und Bereitstellung LLMs auf KI mithilfe von LMI-Containern SageMaker
-
die Leistung mithilfe von Features wie Quantisierung, Tensorparallelität und kontinuierlicher Stapelverarbeitung optimieren;
-
Benchmarken und optimieren Sie Ihre SageMaker KI-Endpunkte, um einen optimalen Durchsatz und eine optimale Latenz zu erzielen
