View a markdown version of this page

解决方案概述 -

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

解决方案概述

可扩展的 ML 框架

在一个拥有数百万客户、分布在多个业务线的企业中,ML 工作流程需要整合由孤立的团队使用不同的工具所拥有和管理的数据,以释放商业价值。银行致力于保护客户的数据。同样,用于开发 ML 模型的基础设施也必须符合高安全标准。这种额外的安全性可以进一步增加复杂性,并影响新 ML 模型的价值实现时间。在可扩展的 ML 框架中,您可以使用现代化的标准化工具集来减少组合不同工具所需的工作量,并简化新 ML 模型的上线流程。

传统上,FS 行业数据科学活动的管理和支持由中央平台团队控制,该团队为整个组织的数据团队收集需求、预配置资源和维护基础设施。要在整个组织的联合团队中快速扩展 ML 的使用,您可以使用可扩展的 ML 框架,为新模型和管道的开发人员提供自助服务功能。使这些开发人员能够部署现代、预先批准、标准化和安全的基础设施。最终,这些自助服务功能可以减少组织对集中式平台团队的依赖,并缩短 ML 模型开发的价值实现时间。

可扩展的 ML 框架使数据使用者(如数据科学家或 ML 工程师)能够执行以下操作,从而释放商业价值:

  • 浏览并发现模型训练所需的预先批准数据

  • 快速轻松地访问预先批准数据

  • 使用预先批准数据证明模型的可行性

  • 将经过验证的模型投入生产,供其他人使用

下图重点介绍了框架的端到端流程以及 ML 用例的简化上线路径。

在更广泛的背景下,数据使用者使用名为 data.all 的无服务器加速器在多个数据湖中获取数据,然后使用这些数据训练模型,如下图所示。

在较低级别上,可扩展的 ML 框架包含以下内容:

元数据的中央枢纽

Data.all是一款无服务器加速器,您可以将其与现有 AWS 数据湖集成,将元数据收集到中央中心。data.all 的用户界面简单易用,可显示与来自多个现有数据湖的数据集相关的元数据。这使非技术用户和技术用户都可以搜索、浏览和请求访问可在机器学习实验室中使用的宝贵数据。 Data.all 使用 AWS Lake Formation、 AWS Lambda、亚马逊弹性容器服务 (Amazon ECS) AWS Fargate、、 OpenSearch 亚马逊服务和。 AWS Glue

SageMaker 验证

为了证明 SageMaker 人工智能在一系列数据处理和机器学习架构中的能力,实施这些功能的团队与银行领导团队一起从银行客户的不同部门中选择复杂程度不同的用例。 用例数据经过混淆处理,并可在功能验证阶段的用例开发账户的本地亚马逊简单存储服务 (Amazon S3) Simp le Service 数据存储桶中提供。

模型从原始训练环境迁移到 A SageMaker I 架构完成后,您的云托管数据湖将使数据可供生产模型读取。 然后将生产模型生成的预测写回数据湖。

候选用例迁移完成后,可扩展的 ML 框架会为目标指标设定一个初始基线。您可以将基线与之前的本地或其他云提供商计时进行比较,以证明可扩展的 ML 框架可以实现的时间方面的改善。