在 Amazon SageMaker HyperPod 上部署模型

Amazon SageMaker HyperPod 現在延伸到訓練之外，以提供全面的推論平台，將 Kubernetes 的靈活性與 AWS 受管服務的卓越營運相結合。在整個模型生命週期中使用相同的 HyperPod 運算，以企業級可靠性部署、擴展和最佳化機器學習模型。

Amazon SageMaker HyperPod 提供靈活的部署介面，可讓您透過多種方法部署模型，包括 kubectl、Python SDK、Amazon SageMaker Studio UI 或 HyperPod CLI。此服務提供進階的自動擴展功能，具有動態資源配置，可根據需求自動調整。此外，它還包含全方位的可觀測性和監控功能，可追蹤關鍵指標，例如time-to-first-token、延遲和 GPU 使用率，以協助您最佳化效能。

用於訓練和推論的統一基礎設施

透過在訓練和推論工作負載之間無縫轉換運算資源，將 GPU 使用率最大化。這可降低總擁有成本，同時維持營運持續性。

企業就緒部署選項

從多個來源部署模型，包括來自 Amazon SageMaker JumpStart 的開放權重和門控模型，以及來自 Amazon S3 和 Amazon FSx 的自訂模型，同時支援單節點和多節點推論架構。