部署基礎模型和自訂微調模型 - Amazon SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

部署基礎模型和自訂微調模型

無論您是從 Amazon SageMaker JumpStart 部署預先訓練的基礎開放權重或門控模型，還是存放在 Amazon S3 或 Amazon FSx 中的自訂或微調模型，SageMaker HyperPod 都能提供生產推論工作負載所需的靈活、可擴展基礎設施。

從 JumpStart 部署開放權重和門控基礎模型 從 Amazon S3 和 Amazon FSx 部署自訂和微調的模型
Description

從完整目錄部署預先訓練的基礎模型，搭配針對每個模型系列量身打造的自動最佳化和擴展政策。

 使用您自己的自訂和微調模型，並利用 SageMaker HyperPod 的企業基礎設施進行生產規模推論。選擇使用 Amazon S3 的符合成本效益的儲存體，或使用 Amazon FSx 的高效能檔案系統。
主要優點

  • 透過 Amazon SageMaker Studio UI 的一鍵式部署

  • 根據自動啟用的傳入請求自動擴展

  • 每個模型系列的預先最佳化容器和組態

  • 門控模型的 EULA 處理

  • 支援多個儲存後端：Amazon S3、Amazon FSx

  • 靈活的容器和架構支援

  • 根據您模型的特性自訂擴展政策
部署選項

  • 用於視覺化部署的 Amazon SageMaker Studio

  • 適用於 Kubernetes 原生操作的 kubectl

  • 適用於程式設計整合的 Python SDK

  • 命令列自動化的 HyperPod CLI

  • 適用於 Kubernetes 原生操作的 kubectl

  • 適用於程式設計整合的 Python SDK

  • 命令列自動化的 HyperPod CLI

以下章節會逐步引導您從 Amazon SageMaker JumpStart 和從 Amazon S3 和 Amazon FSx 部署模型。

主題