As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
A documentação do contêiner de inferência de grandes modelos (LMI)
A documentação do contêiner de inferência de grandes modelos (LMI)
A documentação foi escrita para desenvolvedores, cientistas de dados e engenheiros de machine learning que precisam implantar e otimizar grandes modelos de linguagem (LLMs) no Amazon SageMaker AI. Ela ajuda você a usar os contêineres de LMI, que são contêineres do Docker especializados para inferência de LLM, fornecidos pela AWS. Ela apresenta uma visão geral, guias de implantação, guias de usuário para bibliotecas de inferência compatíveis e tutoriais avançados.
Ao usar a documentação do contêiner de LMI, você consegue:
-
Compreender os componentes e a arquitetura dos contêineres de LMI
-
Saiba como selecionar o tipo de instância e o backend apropriados para seu caso de uso
-
Configurar e implantar LLMs no SageMaker AI usando contêineres de LMI
-
Otimizar o desempenho usando atributos como quantização, paralelismo de tensores e processamentos em lotes contínuos
-
Comparar e ajustar endpoints do SageMaker AI para otimizar o throughput e a latência
