**帮助改进此页面**
要帮助改进本用户指南，请选择位于每个页面右侧窗格中的**在 GitHub 上编辑此页面**链接。
# Amazon EKS 上的人工智能和机器学习概述
**提示**
[注册参加](https://events.eksworkshop.com/workshops/genai/)即将举办的 Amazon EKS 人工智能/机器学习讲习会。
Amazon Elastic Kubernetes Service（Amazon EKS）是一种托管式 Kubernetes 服务，可让组织以无与伦比的灵活性与控制力部署、管理和扩展人工智能（AI）和机器学习（ML）工作负载。由于 Amazon EKS 在上游 Kubernetes 上构建，不仅便于您利用现有的 Kubernetes 专业知识，还可与开源工具和各种 AWS 服务无缝集成。
无论是要训练大型模型、运行实时在线推理，还是部署生成式人工智能应用程序，Amazon EKS 都能提供人工智能/机器学习项目所需的优异性能、可扩展性以及成本效益。
## 为何要将 Amazon EKS 用于人工智能/机器学习？
Amazon EKS 提供了人工智能/机器学习项目所需的控制、集成、性能和可扩展性。Amazon EKS 建立在上游 Kubernetes 上并与多种 AWS 服务集成，有助您在编排复杂工作负载的同时使用现有的 Kubernetes 专业知识。对于刚接触人工智能/机器学习部署的团队，无需大量学习即可实现现有 Kubernetes 技能转移。
Amazon EKS 支持从操作系统自定义到计算扩缩的各个方面，并提高了技术灵活性，为未来的基础设施决策保留了选择余地。该平台提供人工智能/机器学习工作负载所需的性能和微调选项，包括以下特点：
+ **完全集群控制**：可微调成本和配置，无隐藏的抽象功能。
+ **亚秒级延迟**：生产环境中运行实时推理工作负载。
+ **高级自定义**：可配置多实例 GPU、网络微调和操作系统级别微调。
+ **统一编排**：跨人工智能/机器学习管道以及本地、边缘和云环境进行编排。
+ **成本优化**：使用自动扩缩、原生 GPU 调度以及多种 GPU 和加速器实例类型。
## 关键使用案例
Amazon EKS 支持种类广泛的人工智能/机器学习工作负载，包括以下常见使用案例：
+ **推理**：Amazon EKS 上的自托管模型，适用于需要低延迟响应时间的使用案例。
+ **批量推理** ：通过计划作业高效处理大型数据集。
+ **模型训练**：利用大型数据集长时间训练复杂模型。
+ **模型微调**：利用专有领域知识增强开源模型。
+ **检索增强生成（RAG）管道**：集成检索和生成进程。
+ **代理式人工智能**：使用在 Amazon Bedrock、第三方或 Amazon EKS 上托管的模型部署代理。
## 案例研究
客户选择 Amazon EKS 的原因多种多样，例如优化 GPU 使用率或以亚秒级延迟运行推理工作负载，如以下案例研究所示。有关 Amazon EKS 的所有案例研究列表，请参阅 [AWS 客户成功案例](https://aws.amazon.com/solutions/case-studies/)。
+ [宝马集团](https://aws.amazon.com/solutions/case-studies/bmw-eks-case-study/)运营着全球最大的联网车队之一，联网汽车超过 2500 万辆。该公司在 Amazon EKS 上构建了互联人工智能平台，使用 Ray 执行分布式训练，并使用 Karpenter 执行 GPU 自动扩缩，将模型训练时间从几小时缩短到 30 分钟，每次训练运行的成本仅 5 欧元，可同时为超过 550 名开发人员提供支持，涵盖 60 多个人工智能使用案例。
+ 全球领先的旅游平台之一 [Booking.com](https://aws.amazon.com/solutions/case-studies/booking-eks-case-study/) 将其搜索排名机器学习推理系统迁移到 Amazon EKS，利用实验的可扩展性，每秒处理多达 25 万个请求，p99.9 延迟低至 40毫秒。
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) 每天使用人工智能内容审核处理 2600 万个视频，不仅实现了高吞吐量、低延迟的推理，还将容器启动时间缩短了 80%，确保在流量波动时能够快速响应扩缩事件。
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card) 提供生成式人工智能视频创建服务，供客户根据文本提示创建逼真的视频，其机器学习模型训练吞吐量提升了 30 倍。
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/)，一家人工智能驱动的客户服务自动化公司，其计算成本降低了 15%，并且计算效率提升了 30%。
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/) 助力各类企业构建和调整基础模型和大语言模型，通过为 GPU 资源实施智能扩缩机制，节省了超过 40% 的成本。
+ [Artera](https://aws.amazon.com/solutions/case-studies/artera-case-study/) 使用 Amazon Elastic File System（Amazon EFS）和 Amazon EKS，来训练使用高分辨率活检影像进行个性化癌症治疗的机器学习模型。
+ [Anthropic](https://aws.amazon.com/blogs/containers/amazon-eks-enables-ultra-scale-ai-ml-workloads-with-support-for-100k-nodes-per-cluster/) 在 Amazon EKS 上运行其旗舰 Claude 系列基础模型，并在生产环境中运营某些大型 EKS 集群，包括用于人工智能工作负载的 AWS Trainium（trn2）实例和 NVIDIA GPU，以及用于 CPU 密集数据处理的 AWS Graviton 处理器。
## 指南结构
本指南包含一系列动手实践指南，您可以按照这些指南在 Amazon EKS 上分步部署和管理 AI/ML 工作负载。每份指南都提供了您可以直接在自己的环境中实施的说明和配置。
除相关说明外，本指南还提供了每个主题的必要背景和基础概念，以及指向相关 AWS 文档和资源的链接，以便您了解所需的更深入技术细节。
## 开始使用 Amazon EKS 上的人工智能/机器学习
要开始计划在 Amazon EKS 上使用人工智能/机器学习平台和工作负载，请按照[设置用于人工智能/机器学习工作负载的 Amazon EKS 集群](ml-cluster-setup.md)部分的说明在您的 AWS 账户中创建一个 Amazon EKS 集群，包括所需的 Kubernetes 组件。当您的环境启动并运行后，即可以执行后续步骤：
+ [设置用于人工智能/机器学习工作负载的 Amazon EKS 集群](ml-cluster-setup.md)：创建要在本节中使用的 Amazon EKS 集群、监控和 Amazon S3 存储桶基础设施。
+ [在 Amazon EKS 上运行人工智能/机器学习推理工作负载](ml-inference.md)：使用 Amazon EKS 部署、配置并开始使用一个使用大语言模型（LLM）的推理应用程序。
+ [适用于人工智能/机器学习工作负载的 Amazon EKS 集群配置](ml-cluster-configuration.md)：配置针对人工智能/机器学习工作负载优化的 Amazon EKS 集群。
+ [管理 Amazon EKS 上人工智能/机器学习工作负载的计算资源](ml-compute-management.md)：在 Amazon EKS 上管理并优化用于机器学习工作负载的计算资源。
+ [在 Amazon EKS 上管理硬件设备](device-management.md)：使用动态资源分配（DRA）和设备插件管理专用硬件设备。