大型模型推理（LMI）容器文档 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

大型模型推理（LMI）容器文档

Deep Java 库文档网站提供了大型模型推理（LMI）容器文档。

该文档是为需要在 Amazon SageMaker AI 上部署和优化大型语言模型（LLM）的开发人员、数据科学家和机器学习工程师编写的。它可以帮助您使用由 AWS 提供的 LMI 容器（用于 LLM 推理的专用 Docker 容器）。它提供了概述、部署指南、所支持推理库的用户指南以及高级教程。

通过使用 LMI 容器文档，您可以

  • 了解 LMI 容器的组件和架构

  • 了解如何为您的使用场景选择合适的实例类型和后端

  • 使用 LMI 容器在 SageMaker AI 上配置和部署 LLM

  • 利用量化、张量并行和连续批处理等功能优化性能

  • 对 SageMaker AI 端点进行基准测试和调整，以获得最佳吞吐量和延迟