Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Documentación del contenedor de inferencia de modelos grandes (LMI)
La documentación sobre Large Model Inference (LMI) container
La documentación está dirigida a desarrolladores, científicos de datos e ingenieros de machine learning que necesitan implementar y optimizar modelos de lenguaje de gran tamaño (LLM) en Amazon SageMaker AI. Le ayuda a utilizar los contenedores de LMI, que son contenedores de Docker especializados para la inferencia LLM, proporcionados por AWS. Proporciona información general, guías de implementación y guías de usuario para las bibliotecas de inferencias compatibles, así como tutoriales avanzados.
Al utilizar la documentación del contenedor de LMI, podrá:
-
Comprender los componentes y la arquitectura de los contenedores de LMI.
-
Aprender a seleccionar el tipo de instancia y el backend adecuados para su caso de uso.
-
Configurar e implementar LLM en SageMaker AI mediante contenedores de LMI.
-
Optimizar el rendimiento mediante características como la cuantificación, el paralelismo de tensores y el procesamiento continuo por lotes.
-
Comparar y ajustar los puntos de conexión de SageMaker AI para obtener un rendimiento y una latencia óptimos
