Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Documentation du conteneur d’inférence de modèles de grande taille (LMI)
La documentation du conteneur LMI
Elle est destinée aux développeurs, aux scientifiques des données et aux ingénieurs en machine learning qui ont besoin de déployer et d’optimiser de grands modèles de language (LLM) sur Amazon SageMaker AI. Elle vous aide à utiliser les conteneurs LMI, qui sont des conteneurs Docker spécialisés pour l’inférence LLM, fournis par AWS. Elle fournit une vue d’ensemble, des guides de déploiement, des guides de l’utilisateur pour les bibliothèques d’inférence prises en charge et des didacticiels avancés.
En utilisant la documentation du conteneur LMI, vous pouvez :
-
comprendre les composants et l’architecture des conteneurs LMI ;
-
découvrir comment sélectionner le type d’instance et le système dorsal adaptés à votre cas d’utilisation ;
-
configurer et déployer des LLM sur SageMaker AI à l’aide de conteneurs LMI ;
-
optimiser les performances en utilisant des caractéristiques comme la quantification, le parallélisme de tenseur et le traitement par lots continu ;
-
effectuer des analyses comparatives de vos points de terminaison SageMaker AI et les régler pour bénéficier d’un débit et d’une latence optimaux.
