本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
大型模型推論 (LMI) 容器文件
Deep Java Library 文件網站上提供大型模型推論 (LMI) 容器文件
本文件專為需要在 Amazon SageMaker AI 上部署和最佳化大型語言模型 (LLM) 的開發人員、資料科學家和機器學習工程師所撰寫。它可協助您使用 AWS 提供的 LMI 容器，這是專門用於 LLM 推論的 Docker 容器。本文提供概觀、部署指南、支援推論程式庫的使用者指南，以及進階教學課程。
透過使用 LMI 容器文件，您可以：
-
了解 LMI 容器的元件和架構
-
了解如何為您的使用案例選取適當的執行個體類型和後端
-
使用 LMI 容器在 SageMaker AI 上設定和部署 LLM
-
使用量化、張量平行化和連續批次處理等功能來最佳化效能
-
對 SageMaker AI 端點進行基準測試和調整，以獲得最佳輸送量和延遲
