執行 Amazon EKS 上的即時線上推論工作負載 - Amazon EKS

協助改進此頁面

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

若要為本使用者指南貢獻內容,請點選每個頁面右側面板中的在 GitHub 上編輯此頁面連結。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

執行 Amazon EKS 上的即時線上推論工作負載

提示

註冊即將舉行的 Amazon EKS AI/ML 研討會。

本節旨在協助您部署和操作 Amazon Elastic Kubernetes Service (EKS) 上的即時線上推論工作負載。您可以找到使用 GPU 加速節點建置最佳化叢集、整合儲存和自動擴展 AWS 服務、部署驗證範例模型,以及解耦 CPU 和 GPU 任務、選取適當的 AMIs 和執行個體類型,以及確保低延遲暴露推論端點等關鍵架構考量的相關指引。