**協助改進此頁面**
本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
若要為本使用者指南貢獻內容，請點選每個頁面右側面板中的**在 GitHub 上編輯此頁面**連結。
本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# Amazon EKS 上的人工智慧和Machine Learning概觀
**提示**
[註冊](https://events.eksworkshop.com/workshops/genai/)即將舉行的 Amazon EKS AI/ML 研討會。
Amazon Elastic Kubernetes Service (Amazon EKS) 是一項受管 Kubernetes 服務，可讓組織部署、管理和擴展人工智慧 (AI) 和機器學習 (ML) 工作負載，並擁有前所未有的彈性和控制能力。由於 Amazon EKS 是以上游 Kubernetes 為基礎，因此您可以套用現有的 Kubernetes 專業知識，同時無縫整合開放原始碼工具和 AWS 服務。
無論您是訓練大規模模型、執行即時線上推論，還是部署生成式 AI 應用程式，Amazon EKS 都能提供 AI/ML 專案所需的效能、可擴展性和成本效益。
## 為什麼要將 Amazon EKS 用於 AI/ML
Amazon EKS 提供 AI/ML 專案所需的控制、整合、效能和可擴展性。Amazon EKS 建置在上游 Kubernetes 上並與 AWS 服務整合，可協助您使用現有的 Kubernetes 專業知識，同時協調複雜的工作負載。對於初次使用 AI/ML 部署的團隊，現有的 Kubernetes 技能會在沒有陡峭學習曲線的情況下轉移。
Amazon EKS 支援從作業系統自訂到運算擴展的所有功能，並提升技術彈性，以保留未來基礎設施決策的選擇。平台提供 AI/ML 工作負載所需的效能和調校選項，包括下列功能：
+ **完整叢集控制**：微調成本和組態，而不會隱藏抽象。
+ **低於秒的延遲**：在生產環境中執行即時推論工作負載。
+ **進階自訂**：設定多執行個體 GPUs、網路調校和作業系統層級調校。
+ **統一協同運作**：跨 AI/ML 管道和內部部署、邊緣和雲端環境進行協同運作。
+ **成本最佳化**：使用自動擴展、原生 GPU 排程，以及多樣化的 GPU 和加速器執行個體類型。
## 金鑰使用案例
Amazon EKS 支援廣泛的 AI/ML 工作負載，包括下列常見使用案例：
+ **推論**：Amazon EKS 上的自我託管模型適用於需要低延遲回應時間的使用案例。
+ **批次推論**：透過排程任務有效率地處理大型資料集。
+ **模型訓練**：長時間訓練大型資料集上的複雜模型。
+ **模型微調**：使用專有網域知識增強開放原始碼模型。
+ **擷取擴增產生 (RAG) 管道**：整合擷取和產生程序。
+ **代理程式 AI**：使用託管在 Amazon Bedrock、第三方或 Amazon EKS 上的模型部署代理程式。
## 案例研究
客戶因為各種原因選取 Amazon EKS，例如最佳化 GPU 用量，或以低於秒的延遲執行推論工作負載，如下列案例研究所示。如需 Amazon EKS 的所有案例研究清單，請參閱 [AWS 客戶成功案例](https://aws.amazon.com/solutions/case-studies/)。
+ [BMW Group](https://aws.amazon.com/solutions/case-studies/bmw-eks-case-study/) 營運全球最大的連線機群之一，擁有超過 25M00 萬輛連線車輛，使用 Ray 在 Amazon EKS 上建置其連線 AI 平台以進行分散式訓練，並使用 Karpenter 進行 GPU 自動擴展，將模型訓練時間從數小時縮短為 30 分鐘，每次訓練執行 5 歐元，同時支援超過 60 個 AI 使用案例的 550 位開發人員。
+ 全球領先的旅遊平台之一 [Booking.com](https://aws.amazon.com/solutions/case-studies/booking-eks-case-study/) 將其搜尋排名 ML 推論系統遷移至 Amazon EKS，以釋放可擴展性進行實驗，每秒處理高達 250K個請求，並延遲 40 毫秒 p99.9。
+ [統一](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card)每天處理 2，600 萬部影片，使用 AI 進行內容管制。公司需要高輸送量、低延遲推論，並縮短容器開機時間 80%，這可確保在流量波動時快速回應擴展事件。
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card) 提供生成式 AI 影片建立服務，讓客戶從文字提示建立逼真的影片。該公司在 ML 模型訓練輸送量方面達到了 30 倍的改善。
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/) 是採用 AI 技術的客戶服務自動化公司，實現了 15% 的運算成本降低以及 30% 的運算效率提升。
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/) 可讓企業建置和調整基礎模型和大型語言模型。該公司實作 GPU 資源的智慧型擴展機制，節省了 40% 以上的成本。
+ [Artera](https://aws.amazon.com/solutions/case-studies/artera-case-study/) 使用 Amazon Elastic File System (Amazon EFS) 和 Amazon EKS 來訓練 ML 模型，這些模型使用高解析度切片影像來個人化癌症處理。
+ [Anthropic](https://aws.amazon.com/blogs/containers/amazon-eks-enables-ultra-scale-ai-ml-workloads-with-support-for-100k-nodes-per-cluster/) 在 Amazon EKS 上執行其旗艦 Claude 系列基礎模型，並在生產環境中操作一些最大的 EKS 叢集，包括 AWS Trainium (trn2) 執行個體和適用於 AI 工作負載的 NVIDIA GPUs，以及適用於 CPU 密集資料處理的 AWS Graviton 處理器。
## 指南結構
本指南包含一系列實作指南，您可以step-by-step在 Amazon EKS 上部署和管理 AI/ML 工作負載。每個指南都提供您可以直接在環境中實作的指示和組態。
除了說明之外，本指南還提供每個主題所需的背景和基礎概念。它還包含 AWS 相關文件和資源的連結，以取得所需的更深入技術詳細資訊。
## 在 Amazon EKS 上開始使用 AI/ML
若要開始規劃和使用 Amazon EKS 上的 AI/ML 平台和工作負載，請遵循 [為 AI/ML 工作負載設定 Amazon EKS 叢集](ml-cluster-setup.md)一節在您的帳戶中建立 Amazon EKS 叢集，包括必要的 Kubernetes 元件 AWS 。環境啟動並執行後，您可以繼續執行後續步驟：
+ [為 AI/ML 工作負載設定 Amazon EKS 叢集](ml-cluster-setup.md)：建立要在整個區段中使用的 Amazon EKS 叢集、監控和 Amazon S3 儲存貯體基礎設施。
+ [在 Amazon EKS 上執行 AI/ML 推論工作負載](ml-inference.md)：使用 Amazon EKS 部署、設定和開始使用具有大型語言模型 (LLM) 的推論應用程式。
+ [針對 AI/ML 工作負載的 Amazon EKS 叢集組態](ml-cluster-configuration.md)：設定針對 AI/ML 工作負載最佳化的 Amazon EKS 叢集。
+ [在 Amazon EKS 上管理 AI/ML 工作負載的加速運算](ml-compute-management.md)：管理和最佳化 Amazon EKS 上機器學習工作負載的運算資源。
+ [在 Amazon EKS 上管理硬體裝置](device-management.md)：使用動態資源分配 (DRA) 和裝置外掛程式管理專用硬體裝置。