本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
选择一个 AWS 机器学习服务
选择合适的 ML 服务和框架来支持您的工作
| 目的 |
帮助确定哪 AWS 些 ML 服务最适合您的需求。 |
| 上次更新 |
2024 年 5 月 3 日 |
| 承保服务 |
|
简介
最基本的是,机器学习 (ML) 旨在提供数字工具和服务,以从数据中学习、识别模式、做出预测,然后根据这些预测采取行动。当今几乎所有的人工智能 (AI) 系统都是使用机器学习创建的。机器学习使用大量数据来创建和验证决策逻辑。这种决策逻辑构成了人工智能模型的基础。
可以应用 AWS 机器学习服务的场景包括:
-
特定用例 — AWS 机器学习服务可以通过针对常见用例和行业的各种预建算法、模型和解决方案来支持人工智能驱动的用例。您可以选择 23 种预先培训的服务,包括亚马逊个性化、亚马逊 Kendra 和亚马逊 Monitron。
-
自定义和扩展机器学习 — SageMaker Amazon AI 旨在帮助您针对任何用例构建、训练和部署机器学习模型。您可以 AWS 通过亚马逊 SageMaker AI 和 Amazon Bedrock 构建自己的或访问开源基础模型。
-
访问专业基础架构 — 如果您需要更大的灵活性和对机器学习工作流程的控制,并且愿意自己管理底层基础设施和资源,则使用提供的 ML 框架和基础架构。 AWS
本决策指南将帮助您提出正确的问题,评估您的标准和业务问题,并确定哪些服务最适合您的需求。
明白
随着组织继续采用人工智能和机器学习技术,理解和选择 AWS 机器学习服务的重要性是一项持续的挑战。
AWS 提供了一系列机器学习服务,旨在帮助组织更快、更轻松地构建、训练和部署机器学习模型。这些服务可用于解决各种业务问题,例如客户流失预测、欺诈检测以及图像和语音识别。
在深入研究 AWS 机器学习服务之前,让我们来看看 AI 和 ML 之间的关系。
-
从总体上讲,人工智能是描述任何可以复制以前需要人类智能的任务的系统的方式。大多数 AI 用例都在寻找概率结果——以高度的确定性做出预测或决策,类似于人类的判断。
-
当今几乎所有的人工智能系统都是使用机器学习创建的。机器学习使用大量数据来创建和验证决策逻辑,即模型。
-
分类 AI 是 ML 的一个子集,它可以识别模式以识别某物。预测性人工智能是机器学习的一个子集,它根据统计模式和历史数据预测未来趋势。
-
最后,生成式 AI 是深度学习的一个子集,它可以创造新的内容和想法,例如对话、故事、图像、视频和音乐。生成式 AI 由超大型模型提供支持,这些模型是根据大量数据库进行预训练的,称为基础模型或 FM。Amazon Bedrock 是一项完全托管的服务,提供了一系列用于构建和扩展生成式 AI 应用程序的高性能 FM。亚马逊 Q 开发人员和亚马逊 Q Busines s 是基于生成人工智能的助手,适用于特定用例。
本指南主要旨在涵盖分类人工智能和预测人工智能机器学习类别中的服务。
此外,还 AWS 提供专用的加速硬件,用于高性能 ML 训练和推理。
考虑一下
在使用 AWS 机器学习服务解决业务问题时,考虑几个关键标准有助于确保成功。下一节概述了选择机器学习服务时要考虑的一些关键标准。
- Problem definition
-
问题定义
机器学习生命周期的第一步是构思业务问题。了解您要解决的问题对于选择正确的机器 AWS 学习服务至关重要,因为不同的服务旨在解决不同的问题。确定机器学习是否最适合您的业务问题也很重要。
一旦确定机器学习最合适,就可以开始从一系列专门构建 AWS 的人工智能服务(例如语音、视觉和文档领域)中进行选择。
如果您需要构建和训练自己的模型, SageMaker Amazon AI 可提供完全托管的基础设施。 AWS 为需要高度定制和专业化的 ML 模型的情况提供了一系列高级 ML 框架和基础架构选择。 AWS 还提供了一系列流行的基础模型,用于使用生成式 AI 构建新应用程序。
- ML algorithm
-
机器学习算法
为你要解决的业务问题选择机器学习算法取决于你正在处理的数据类型以及预期的结果。以下信息概述了每个主要 AWS AI/ML 服务类别如何使您能够使用其算法:
-
专业的人工智能服务:这些服务提供的自定义机器学习算法的能力有限,因为它们是针对特定任务进行了优化的预训练模型。您通常可以自定义输入数据和某些参数,但无法访问底层 ML 模型,也无法构建自己的模型。
-
亚马逊 SageMaker AI:该服务为机器学习算法提供了最大的灵活性和控制力。您可以使用 SageMaker AI 使用自己的算法和框架来构建自定义模型,也可以使用提供的 AWS预建模型和算法。这允许对机器学习过程进行高度的自定义和控制。
-
Lower-level 机器学习框架和基础架构:这些服务为机器学习算法提供了最大的灵活性和控制力。您可以使用这些服务使用他们自己的算法和框架来构建高度自定义的 ML 模型。但是,使用这些服务需要大量的机器学习专业知识,可能不适用于所有用例。
- Security
-
安全性
如果您需要在 VPC 中使用私有终端节点,则您的选项将根据您使用的 AWS ML 服务层而有所不同。这些方法包括:
-
专业 AI 服务:大多数专业的 AI 服务目前不支持 VPC 中的私有端点。但是,可以使用 VPC 终端节点访问亚马逊 Rekognition 自定义标签和亚马逊 Comprehend Custom。
-
核心 AI 服务:亚马逊翻译、亚马逊转录和亚马逊 Comprehend 都支持 VPC 终端节点。
-
SageMaker Amazon SageMaker AI:AI 为 VPC 终端节点提供内置支持,允许您将其经过训练的模型部署为只能从其 VPC 内部访问的终端节点。
-
Lower-level 机器学习框架和基础设施:您可以在 Amazon EC2 实例或 VPC 内的容器中部署模型,从而完全控制网络配置。
- Latency
-
延迟
Higher-level Amazon Rekognition和Amazon Transcribe等人工智能服务旨在处理各种用例,并在速度方面提供高性能。但是,它们可能不符合特定的延迟要求。
如果您使用较低级别的机器学习框架和基础设施,我们建议您利用 SageMaker Amazon AI。由于其完全托管的服务和优化的部署选项,此选项通常比构建自定义模型更快。虽然高度优化的自定义模型的性能可能优于 SageMaker 人工智能,但它需要大量的专业知识和资源才能构建。
- Accuracy
-
准确性
AWS 机器学习服务的准确性因具体用例和所需的自定义级别而异。 Higher-level Amazon Rekognition 等人工智能服务建立在预训练模型之上,这些模型已针对特定任务进行了优化,在许多用例中均具有很高的准确性。
在某些情况下,您可以选择使用 SageMaker Amazon AI,它为构建和训练自定义 ML 模型提供了更加灵活和可定制的平台。通过构建自己的模型,您可以获得比预训练模型更高的精度。
您还可以选择使用机器学习框架和基础架构(例如 TensorFlow 和 Apache MXNet)来构建高度自定义的模型,为您的特定用例提供尽可能高的准确性。
- AWS and responsible AI
-
AWS 和负责任的人工智能
AWS 在构建基础模型 (FM) 时,在开发过程的每个阶段都考虑负责任的人工智能。在设计、开发、部署和运营过程中,我们会考虑一系列因素,包括:
-
准确性(摘要与基础文献的匹配程度;传记事实上是否正确)
-
公平性,(产出对待人口群体是否类似)
-
知识产权和版权注意事项
-
适当用法(过滤掉用户请求的法律咨询、医疗诊断或非法活动)
-
毒性(仇恨言论、亵渎和侮辱)
-
隐私(保护个人信息和客户提示)
AWS 将解决这些问题的解决方案构建到用于获取训练数据的流程、FM 本身以及用于预处理用户提示和后处理输出的技术中。
选择
既然您已经知道评估机器学习服务选项的标准,就可以选择哪种 AWS 机器学习服务最适合您的组织需求了。下表重点介绍了针对哪些环境进行了优化 ML 服务。使用它来帮助确定最适合您的用例的 AWS ML 服务。
使用
现在,您已经清楚地了解了在选择 AWS 机器学习服务时需要采用的标准,您可以选择针对您的业务需求进行了优化的 AWS AI/ML服务。
为了探索如何使用和详细了解您选择的服务,我们提供了三组途径来探索每种服务的工作原理。第一组途径提供了深入的文档、动手教程和资源,可帮助您入门使用亚马逊 Comprehend、亚马逊 Textract、亚马逊翻译、亚马逊 Lex、亚马逊 Polly、亚马逊 Rekognition 和亚马逊 Transcribe。
- Amazon Comprehend
-
-
开始使用 Amazon Comprehend
使用 Amazon Comprehend 控制台创建和运行异步实体检测任务。
开始使用本教程”
-
使用 Amazon Comprehend 分析文本中的见解
学习如何使用 Amazon Comprehend 分析文本并从中获得见解。
开始使用本教程”
-
亚马逊理解定价
浏览有关亚马逊 Comprehend 定价和示例的信息。
浏览指南”
- Amazon Textract
-
-
亚马逊 Textract 入门
了解如何将 Amazon Textract 与格式化文本一起使用,以检测彼此靠近的单词和单词行,并分析文档中的相关文本、表格、键值对和选择元素等项目。
浏览指南”
-
使用 Amazon Textract 提取文本和结构化数据
了解如何使用 Amazon Textract 从文档中提取文本和结构化数据。
开始使用本教程”
-
AWS Power Hour:机器学习
在本集中深入了解 Amazon Textract AWS 管理控制台,花时间阅读并查看代码示例,这些示例将帮助您了解如何充分利用服务 API。
观看视频”
- Amazon Translate
-
-
使用控制台开始使用亚马逊翻译
Amazon Translate 入门最简单的方法是使用控制台翻译一些文本。学习如何使用控制台翻译多达 10,000 个字符。
浏览指南”
-
在云端翻译不同语言之间的文本
在本教程示例中,作为一家国际箱包制造公司的一员,您需要了解客户在使用当地市场语言(法语)的评论中对您的商品的评价。
开始使用本教程”
-
亚马逊翻译定价
探索亚马逊翻译的定价,包括免费套餐——免费套餐每月提供 200 万个字符,为期 12 个月。
浏览指南”
- Amazon Lex
-
- Amazon Polly
-
-
什么是亚马逊 Polly?
浏览云服务的完整概述,该云服务可将文本转换为逼真的语音,并可用于开发应用程序以提高客户参与度和可访问性。
浏览指南”
-
使用 Amazon Polly 突出显示正在说话的文本
我们向您介绍在说话时突出显示文本的方法,为图书、网站、博客和其他数字体验中的音频添加视觉功能。
阅读博客”
-
在 Amazon Polly 中使用相同的 TTS 语音角色为多种语言的内容创建音频
我们将解释 Ne Text-to-Speech ural (NTTS),并讨论广泛的可用语音组合,以支持的语言提供一系列不同的演讲者,如何为您服务。
阅读博客”
- Amazon Rekognition
-
-
什么是亚马逊 Rekognition?
探索如何使用此服务向应用程序添加图像和视频分析。
浏览指南”
-
Hands-on Rekognition:自动图像和视频分析
自学学习面部识别如何与流媒体视频配合使用,以及代码示例和关键点。
开始使用本教程”
-
亚马逊 Rekognition 常见问题解答
学习 Amazon Rekognition 的基础知识以及它如何帮助您改善深度学习和直观分析应用程序。
阅读常见问题解答”
- Amazon Transcribe
-
-
什么是亚马逊 Transcribe?
探索使用机器学习将音频转换为文本的 AWS 自动语音识别服务。了解如何将此服务用作独立转录或向任何应用程序添加语音转文本功能。
浏览指南”
-
亚马逊转录定价
我们向您介绍 AWS 即用即付转录,包括自定义语言模型选项和 Amazon Transcribe 免费套餐。
浏览指南”
-
使用 Amazon Transcribe 创建音频记录
了解如何使用 Amazon Transcribe 使用真实用例场景创建录制的音频文件的文本记录,根据您的需求进行测试。
开始使用本教程”
-
构建 Amazon Transcribe 直播应用程序
了解如何开发一款实时录制、转录和翻译实时音频的应用程序,并将结果直接通过电子邮件发送给您。
浏览指南”
第二组 AI/ML AWS 服务 途径提供深入的文档、实践教程和资源,以帮助您开始使用 SageMaker Amazon AI 系列中的服务。
- SageMaker AI
-
-
亚马逊 A SageMaker I 的工作原理
探索机器学习概述以及 SageMaker AI 的工作原理。
浏览指南”
-
亚马逊 A SageMaker I 入门
了解如何加入亚马逊 SageMaker AI 域,让您可以访问亚马逊 SageMaker AI Studio 和 RStudio on SageMaker AI。
浏览指南”
-
将 Apache Spark 与亚马逊 SageMaker AI
学习如何使用 Apache Spark 进行数据预处理,使用 SageMaker AI 进行模型训练和托管。
浏览指南”
-
使用 Docker 容器构建模型
探索 SageMaker Amazon AI 如何广泛使用 Docker 容器来执行构建和运行时任务。了解如何为其内置算法部署预建的 Docker 镜像以及用于训练和推理的支持的深度学习框架。
浏览指南”
-
机器学习框架和语言
学习如何使用亚马逊 SageMaker AI Python SDK 开始使用 SageMaker AI。
浏览指南”
- SageMaker AI Autopilot
-
-
为表格数据创建亚马逊 SageMaker AI 自动驾驶实验
学习如何创建 SageMaker Amazon AI Autopilot 实验,以探索、预处理和训练表格数据集上的各种候选模型。
浏览指南”
-
自动创建机器学习模型
学习如何使用 SageMaker Amazon AI Autopilot 自动构建、训练和调整机器学习模型,以及如何部署该模型进行预测。
开始使用本教程”
-
使用这些示例笔记本探索使用 SageMaker Amazon AI Autopilot 进行建模
浏览用于直接营销、客户流失预测以及如何将自己的数据处理代码引入 SageMaker Amazon AI Autopilot 的示例笔记本。
浏览指南”
- SageMaker AI Canvas
-
-
开始使用亚马逊 A SageMaker I Canvas
了解如何开始使用 SageMaker AI 画布。
浏览指南”
-
无需编写代码即可生成机器学习预测
本教程介绍如何使用 SageMaker Amazon AI Canvas 构建机器学习模型并生成准确的预测,而无需编写任何代码。
开始使用本教程”
-
深入了解 SageMaker AI 画布
深入了解 A SageMaker I Canvas 及其可视化、无代码机器学习功能。
阅读博客”
-
使用亚马逊 SageMaker AI Canvas 制作你的第一个 ML 模型
了解如何使用 SageMaker Amazon AI Canvas 根据针对新产品和服务的电子邮件活动创建机器学习模型来评估客户留存率。
开始使用实验室”
- SageMaker AI Data Wrangler
-
-
亚马逊 SageMaker AI 数据管理者入门
探索如何设置 SageMaker AI Data Wrangler,然后使用现有示例数据集提供演练。
浏览指南”
-
使用最少的代码为机器学习准备训练数据
了解如何使用亚马逊 SageMaker AI 数据管理器为机器学习准备数据。
开始使用本教程”
-
SageMaker AI Data Wrangler 深度潜水研讨会
学习如何对数据集应用适当的分析类型来检测异常和问题,在数据集转换过程中使用派生 results/insights 的分析类型制定补救措施,并使用 AI Data Wrangler 提供的快速建模选项测试正确的转换选择和顺序。 SageMaker
开始研讨会”
- SageMaker AI Ground Truth
-
-
亚马逊 Ground Truth 入门
探索如何使用控制台创建标签作业、分配公共或私人员工,以及如何将标签任务发送给您的员工。了解如何监控标签工作的进度。
浏览指南”
-
为机器学习标记训练数据
了解如何在 SageMaker Amazon AI Ground Truth 中设置标签任务,为机器学习模型的训练数据添加注释。
开始使用本教程”
-
亚马逊 Ground Truth Plus 入门探索如何完成必要的步骤,以启动亚马逊 SageMaker AI Ground Truth Plus 项目、查看标签并满足 SageMaker AI Ground Truth Plus 的先决条件。
浏览指南”
-
开始使用 Amazon Ground T ruth Watch 如何开始通过 SageMaker AI Ground Truth 控制台在几分钟内为数据添加标签。
观看视频”
-
亚马逊 SageMaker AI Ground Truth Plus — 无需代码或内部资源即可创建训练数据集
了解Ground Truth Plus,这是一项一站式服务,使用专家团队快速提供高质量的培训数据集,并将成本降低多达40%。
阅读博客”
- SageMaker AI JumpStart
-
-
开始使用 SageMaker AI 进行机器学习 JumpStart
探索为常见用例设置基础设施的 SageMaker AI JumpStart 解决方案模板,以及用于通过 SageMaker AI 进行机器学习的可执行示例笔记本。
浏览指南”
-
使用 SageMaker Amazon AI 快速开始您的机器学习项目 JumpStart
了解如何使用 Amazon AI 提供的预训练模型和预建解决方案快速跟踪您的机器学习项目。 SageMaker JumpStart然后,您可以通过亚马逊 SageMaker AI Studio 笔记本电脑部署所选模型。
开始使用本教程”
-
参加这个沉浸式日研讨 SageMaker 会 JumpStart ,亲身体验亚马逊 AI
了解亚马逊 SageMaker AI Data Wrangler、Autopilot 和 Jumpstart 中的低代码机器学习功能如何让实验变得更容易、更快地进行实验并将高精度模型投入生产。
开始研讨会”
- SageMaker AI Pipelines
-
-
亚马逊 A SageMaker I 管道入门
了解如何创建用于管理和部署 SageMaker AI 任务的端到端工作流程。 SageMaker AI Pipelines 集成了 SageMaker AI Python SDK,因此您可以使用 Python-based 接口构建管道的每个步骤。
浏览指南”
-
自动化机器学习工作流程
学习如何使用亚马逊 SageMaker AI Pipelines、亚马逊 AI 模型注册表和亚马逊 AI Clarify 创建和自动化端到端机器学习 (ML) 工作流程。 SageMaker SageMaker
开始使用本教程”
-
如何使用 SageMaker Amazon AI Pipelines 创建全自动机器学习工作流程
了解 SageMaker Amazon AI Pipelines,这是世界上第一个专为所有开发人员和数据科学家设计的 ML CI/CD 服务。 SageMaker AI Pipel CI/CD ines 为 ML 带来了管道,从而缩短了所需的编码时间。
观看视频”
- SageMaker AI Studio
-
-
在本地构建和训练机器学习模型
学习如何在亚马逊 SageMaker AI Studio 笔记本中本地构建和训练机器学习模型。
开始使用本教程”
-
SageMaker AI Studio 与 EMR 研讨会的集成
学习如何大规模利用分布式处理来准备数据并随后训练机器学习模型。
开始研讨会”
第三组 AI/ML AWS 服务 途径提供深入的文档、实践教程和资源,以帮助您入门 AWS Trainium AWS Inferentia、和 Amazon Titan。
- AWS Trainium
-
-
使用 AWS Trainium 和 Amazon EKS 扩展分布式训练
了解如何受益于 Amazon EC2 Trn1 实例的普遍可用性,该实例由 AWS Trainium一个专门构建的 ML 加速器进行了优化,可为在云中训练深度学习模型提供高性能、经济实惠且可大规模扩展的平台。
阅读博客”
-
的概述 AWS Trainium
了解 AWS Trainium第二代机器学习 (ML) 加速器,专为 100B AWS + 参数模型的深度学习训练而打造。每个亚马逊弹性计算云 (EC2) Trn1 实例最多部署 16 个 AWS Trainium 加速器,为云端深度学习 (DL) 训练提供高性能、低成本的解决方案。
浏览指南”
-
推荐的Trainium实例
探索如何设计 AWS Trainium 实例以为深度学习模型推理工作负载提供高性能和成本效益。
浏览指南”
- AWS Inferentia
-
-
的概述 AWS Inferentia
了解加速器是如何设计的 AWS ,以最低的成本为您的深度学习 (DL) 推理应用程序提供高性能。
浏览指南”
-
AWS Inferentia 2 在 AWS Inferentia 1 基础上构建,吞吐量提高 4 倍,延迟降低 10 倍
了解 AWS Inferentia 2 针对什么进行了优化,并探索它是如何从头开始设计的,以提供更高的性能,同时降低 LLM 和生成式 AI 推理的成本。
阅读博客”
-
使用机器学习推理 AWS Inferentia
了解如何使用运行 Amazon EC2 Inf1 实例的节点创建亚马逊 EKS 集群,以及(可选)部署示例应用程序。Amazon EC2 Inf1 实例由 AWS Inferentia 芯片提供支持,这些芯片是定制的,可在云端提供高性能和最低成本的推理。 AWS
浏览指南”
- Amazon Titan
-
Explore
-
架构图
这些参考架构图显示了正在使用的 AWS AI 和 ML 服务的示例。
浏览架构图”
-
白皮书
浏览白皮书以帮助您入门并学习选择和使用 AI/ML 服务的最佳实践。
浏览白皮书”
-
AWS 解决方案
浏览经过审查的解决方案和架构指南,了解人工智能和机器学习服务的常见用例。
探索解决方案”
资源
基础模型
支持的基础模型包括:
使用 Amazon Bedrock,您可以尝试各种基础模型,并使用您的数据私下对其进行自定义。
用例或行业特定服务
相关的博客文章