View a markdown version of this page

Amazon EKS 上的人工智慧和Machine Learning概觀 - Amazon EKS
為什麼要將 Amazon EKS 用於 AI/ML金鑰使用案例案例研究指南結構在 Amazon EKS 上開始使用 AI/ML

協助改進此頁面

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

若要為本使用者指南貢獻內容，請點選每個頁面右側面板中的在 GitHub 上編輯此頁面連結。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon EKS 上的人工智慧和Machine Learning概觀

提示

註冊即將舉行的 Amazon EKS AI/ML 研討會。

Amazon Elastic Kubernetes Service (Amazon EKS) 是一項受管 Kubernetes 服務，可讓組織部署、管理和擴展人工智慧 (AI) 和機器學習 (ML) 工作負載，並擁有前所未有的彈性和控制能力。由於 Amazon EKS 是以上游 Kubernetes 為基礎，因此您可以套用現有的 Kubernetes 專業知識，同時無縫整合開放原始碼工具和 AWS 服務。

無論您是訓練大規模模型、執行即時線上推論，還是部署生成式 AI 應用程式，Amazon EKS 都能提供 AI/ML 專案所需的效能、可擴展性和成本效益。

為什麼要將 Amazon EKS 用於 AI/ML

Amazon EKS 提供 AI/ML 專案所需的控制、整合、效能和可擴展性。Amazon EKS 建置在上游 Kubernetes 上並與 AWS 服務整合，可協助您使用現有的 Kubernetes 專業知識，同時協調複雜的工作負載。對於初次使用 AI/ML 部署的團隊，現有的 Kubernetes 技能會在沒有陡峭學習曲線的情況下轉移。

Amazon EKS 支援從作業系統自訂到運算擴展的所有功能，並提升技術彈性，以保留未來基礎設施決策的選擇。平台提供 AI/ML 工作負載所需的效能和調校選項，包括下列功能：

  • 完整叢集控制：微調成本和組態，而不會隱藏抽象。

  • 低於秒的延遲：在生產環境中執行即時推論工作負載。

  • 進階自訂：設定多執行個體 GPUs、網路調校和作業系統層級調校。

  • 統一協同運作：跨 AI/ML 管道和內部部署、邊緣和雲端環境進行協同運作。

  • 成本最佳化：使用自動擴展、原生 GPU 排程，以及多樣化的 GPU 和加速器執行個體類型。

金鑰使用案例

Amazon EKS 支援廣泛的 AI/ML 工作負載，包括下列常見使用案例：

  • 推論：Amazon EKS 上的自我託管模型適用於需要低延遲回應時間的使用案例。

  • 批次推論：透過排程任務有效率地處理大型資料集。

  • 模型訓練：長時間訓練大型資料集上的複雜模型。

  • 模型微調：使用專有網域知識增強開放原始碼模型。

  • 擷取擴增產生 (RAG) 管道：整合擷取和產生程序。

  • 代理程式 AI：使用託管在 Amazon Bedrock、第三方或 Amazon EKS 上的模型部署代理程式。

案例研究

客戶因為各種原因選取 Amazon EKS，例如最佳化 GPU 用量，或以低於秒的延遲執行推論工作負載，如下列案例研究所示。如需 Amazon EKS 的所有案例研究清單，請參閱 AWS 客戶成功案例。

  • BMW Group 營運全球最大的連線機群之一，擁有超過 25M00 萬輛連線車輛，使用 Ray 在 Amazon EKS 上建置其連線 AI 平台以進行分散式訓練，並使用 Karpenter 進行 GPU 自動擴展，將模型訓練時間從數小時縮短為 30 分鐘，每次訓練執行 5 歐元，同時支援超過 60 個 AI 使用案例的 550 位開發人員。

  • 全球領先的旅遊平台之一 Booking.com 將其搜尋排名 ML 推論系統遷移至 Amazon EKS，以釋放可擴展性進行實驗，每秒處理高達 250K個請求，並延遲 40 毫秒 p99.9。

  • 統一每天處理 2，600 萬部影片，使用 AI 進行內容管制。公司需要高輸送量、低延遲推論，並縮短容器開機時間 80%，這可確保在流量波動時快速回應擴展事件。

  • Synthesia 提供生成式 AI 影片建立服務，讓客戶從文字提示建立逼真的影片。該公司在 ML 模型訓練輸送量方面達到了 30 倍的改善。

  • Ada Support 是採用 AI 技術的客戶服務自動化公司，實現了 15% 的運算成本降低以及 30% 的運算效率提升。

  • Snorkel AI 可讓企業建置和調整基礎模型和大型語言模型。該公司實作 GPU 資源的智慧型擴展機制，節省了 40% 以上的成本。

  • Artera 使用 Amazon Elastic File System (Amazon EFS) 和 Amazon EKS 來訓練 ML 模型，這些模型使用高解析度切片影像來個人化癌症處理。

  • Anthropic 在 Amazon EKS 上執行其旗艦 Claude 系列基礎模型，並在生產環境中操作一些最大的 EKS 叢集，包括 AWS Trainium (trn2) 執行個體和適用於 AI 工作負載的 NVIDIA GPUs，以及適用於 CPU 密集資料處理的 AWS Graviton 處理器。

指南結構

本指南包含一系列實作指南，您可以step-by-step在 Amazon EKS 上部署和管理 AI/ML 工作負載。每個指南都提供您可以直接在環境中實作的指示和組態。

除了說明之外，本指南還提供每個主題所需的背景和基礎概念。它還包含 AWS 相關文件和資源的連結，以取得所需的更深入技術詳細資訊。

在 Amazon EKS 上開始使用 AI/ML

若要開始規劃和使用 Amazon EKS 上的 AI/ML 平台和工作負載，請遵循 為 AI/ML 工作負載設定 Amazon EKS 叢集一節在您的帳戶中建立 Amazon EKS 叢集，包括必要的 Kubernetes 元件 AWS 。環境啟動並執行後，您可以繼續執行後續步驟：