View a markdown version of this page

Amazon EKS 上的人工智能和机器学习概述 - Amazon EKS
为何要将 Amazon EKS 用于人工智能/机器学习？关键使用案例案例研究指南结构开始使用 Amazon EKS 上的人工智能/机器学习

帮助改进此页面

要帮助改进本用户指南，请选择位于每个页面右侧窗格中的在 GitHub 上编辑此页面链接。

Amazon EKS 上的人工智能和机器学习概述

提示

注册参加即将举办的 Amazon EKS 人工智能/机器学习讲习会。

Amazon Elastic Kubernetes Service（Amazon EKS）是一种托管式 Kubernetes 服务，可让组织以无与伦比的灵活性与控制力部署、管理和扩展人工智能（AI）和机器学习（ML）工作负载。由于 Amazon EKS 在上游 Kubernetes 上构建，不仅便于您利用现有的 Kubernetes 专业知识，还可与开源工具和各种 AWS 服务无缝集成。

无论是要训练大型模型、运行实时在线推理，还是部署生成式人工智能应用程序，Amazon EKS 都能提供人工智能/机器学习项目所需的优异性能、可扩展性以及成本效益。

为何要将 Amazon EKS 用于人工智能/机器学习？

Amazon EKS 提供了人工智能/机器学习项目所需的控制、集成、性能和可扩展性。Amazon EKS 建立在上游 Kubernetes 上并与多种 AWS 服务集成，有助您在编排复杂工作负载的同时使用现有的 Kubernetes 专业知识。对于刚接触人工智能/机器学习部署的团队，无需大量学习即可实现现有 Kubernetes 技能转移。

Amazon EKS 支持从操作系统自定义到计算扩缩的各个方面，并提高了技术灵活性，为未来的基础设施决策保留了选择余地。该平台提供人工智能/机器学习工作负载所需的性能和微调选项，包括以下特点：

  • 完全集群控制：可微调成本和配置，无隐藏的抽象功能。

  • 亚秒级延迟：生产环境中运行实时推理工作负载。

  • 高级自定义：可配置多实例 GPU、网络微调和操作系统级别微调。

  • 统一编排：跨人工智能/机器学习管道以及本地、边缘和云环境进行编排。

  • 成本优化：使用自动扩缩、原生 GPU 调度以及多种 GPU 和加速器实例类型。

关键使用案例

Amazon EKS 支持种类广泛的人工智能/机器学习工作负载，包括以下常见使用案例：

  • 推理：Amazon EKS 上的自托管模型，适用于需要低延迟响应时间的使用案例。

  • 批量推理 ：通过计划作业高效处理大型数据集。

  • 模型训练：利用大型数据集长时间训练复杂模型。

  • 模型微调：利用专有领域知识增强开源模型。

  • 检索增强生成（RAG）管道：集成检索和生成进程。

  • 代理式人工智能：使用在 Amazon Bedrock、第三方或 Amazon EKS 上托管的模型部署代理。

案例研究

客户选择 Amazon EKS 的原因多种多样，例如优化 GPU 使用率或以亚秒级延迟运行推理工作负载，如以下案例研究所示。有关 Amazon EKS 的所有案例研究列表，请参阅 AWS 客户成功案例。

  • 宝马集团运营着全球最大的联网车队之一，联网汽车超过 2500 万辆。该公司在 Amazon EKS 上构建了互联人工智能平台，使用 Ray 执行分布式训练，并使用 Karpenter 执行 GPU 自动扩缩，将模型训练时间从几小时缩短到 30 分钟，每次训练运行的成本仅 5 欧元，可同时为超过 550 名开发人员提供支持，涵盖 60 多个人工智能使用案例。

  • 全球领先的旅游平台之一 Booking.com 将其搜索排名机器学习推理系统迁移到 Amazon EKS，利用实验的可扩展性，每秒处理多达 25 万个请求，p99.9 延迟低至 40毫秒。

  • Unitary 每天使用人工智能内容审核处理 2600 万个视频，不仅实现了高吞吐量、低延迟的推理，还将容器启动时间缩短了 80%，确保在流量波动时能够快速响应扩缩事件。

  • Synthesia 提供生成式人工智能视频创建服务，供客户根据文本提示创建逼真的视频，其机器学习模型训练吞吐量提升了 30 倍。

  • Ada Support，一家人工智能驱动的客户服务自动化公司，其计算成本降低了 15%，并且计算效率提升了 30%。

  • Snorkel AI 助力各类企业构建和调整基础模型和大语言模型，通过为 GPU 资源实施智能扩缩机制，节省了超过 40% 的成本。

  • Artera 使用 Amazon Elastic File System（Amazon EFS）和 Amazon EKS，来训练使用高分辨率活检影像进行个性化癌症治疗的机器学习模型。

  • Anthropic 在 Amazon EKS 上运行其旗舰 Claude 系列基础模型，并在生产环境中运营某些大型 EKS 集群，包括用于人工智能工作负载的 AWS Trainium（trn2）实例和 NVIDIA GPU，以及用于 CPU 密集数据处理的 AWS Graviton 处理器。

指南结构

本指南包含一系列动手实践指南，您可以按照这些指南在 Amazon EKS 上分步部署和管理 AI/ML 工作负载。每份指南都提供了您可以直接在自己的环境中实施的说明和配置。

除相关说明外，本指南还提供了每个主题的必要背景和基础概念，以及指向相关 AWS 文档和资源的链接，以便您了解所需的更深入技术细节。

开始使用 Amazon EKS 上的人工智能/机器学习

要开始计划在 Amazon EKS 上使用人工智能/机器学习平台和工作负载，请按照设置用于人工智能/机器学习工作负载的 Amazon EKS 集群部分的说明在您的 AWS 账户中创建一个 Amazon EKS 集群，包括所需的 Kubernetes 组件。当您的环境启动并运行后，即可以执行后续步骤：