本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
AWS 现代数据架构
本指南没有描述如何在上实现数据策略框架 AWS。这是一个广泛的主题,在 AWS 文档、博客文章和其他指南中都有介绍(参见 “资源” 部分)。不过,下图提供简要概览。它说明 AWS上现代数据架构的主要组件,并涵盖路线图中可能包含的大多数服务。
此架构的主要组件支持前面讨论的现代数据策略的技术原则:
-
使用集成式、经济实惠且可扩展的存储层,以使每个数据生产者和使用者都具备与数据交互的技术能力。
Amazon Simple Storage Service(Amazon S3)
是一项对象存储服务,以低成本提供集成、可扩展性、数据可用性、安全性和性能。 -
安全性是强制性要求。应用数据隐私规则,通过加密提供数据保护,启用审计,并提供自动化合规性。
要以自动方式应用数据隐私、保护与合规并启用审计功能,您可以使用 AWS Key Management Service (AWS KMS)
、AWS Identity and Access Management (IAM) 、AWS Secrets Manager 、AWS Audit Manager 和 Amazon Macie 。 -
治理数据以在整个公司内共享。提供独有的数据目录和业务词汇表,以使用户可以查找和使用其所需的数据。
AWS Lake Formation
帮助您治理数据并在整个公司内共享数据。此外,您可以使用 Amazon DataZone (预览版)在上创建唯一的数据目录AWS Glue 和业务词汇表,让您的员工能够找到所需的数据。 -
选择适合作业的合适服务。在选择组件时,请考虑功能、可扩展性、数据延迟、运行服务所需的工作量、韧性、集成和自动化。
你可以考虑使用亚马逊 Athena、亚马逊
EMR AWS Glue 、亚马逊 OpenSearch 服务、亚马逊 Kinesis、 亚马逊 R edshift 、适用于 A pache Kafka 的亚马逊托管流媒体(亚马逊 MSK)和 Amazon Quick 来管理 你的任务。 例如,您可以使用 Kinesis 或 Amazon MSK 执行实时流式传输,使用亚马逊 EMR 进行数据处理,或者使用 OpenSearch 服务进行搜索 AWS Glue,使用 Athena 进行临时查询,使用 Amazon Redshift 执行数据仓库。 -
使用人工智能(AI)和机器学习(ML)。
您可以在 AWS AI 服务
中使用人工智能,通过 A mazon A SageMaker I 实现机器学习。 -
为业务人员提供数据素养和抽象化工具。
提供数据素养、工具和抽象的流程不是架构的一部分,但您可以使用 Amazon DataZone(预览版)和 Amaz
on Quick 作为数据抽象工具。AWS Lake Formation -
检验数据计划的假设并衡量其结果。
您可以使用亚马逊 OpenSearch 服务
控制面板或 A mazon Quick 来处理业务结果指标和测试结果,并验证您的假设。
有关不同使用案例示例架构的示例,请参阅 AWS Architecture Center