AWS 现代数据架构 - AWS 规范性指导

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS 现代数据架构

本指南没有描述如何在上实现数据策略框架 AWS。这是一个广泛的主题,在 AWS 文档、博客文章和其他指南中都有介绍(参见 “资源” 部分)。不过,下图提供简要概览。它说明 AWS上现代数据架构的主要组件,并涵盖路线图中可能包含的大多数服务。

AWS 数据服务

此架构的主要组件支持前面讨论的现代数据策略的技术原则:

  1. 使用集成式、经济实惠且可扩展的存储层,以使每个数据生产者和使用者都具备与数据交互的技术能力。

    Amazon Simple Storage Service(Amazon S3)是一项对象存储服务,以低成本提供集成、可扩展性、数据可用性、安全性和性能。

  2. 安全性是强制性要求。应用数据隐私规则,通过加密提供数据保护,启用审计,并提供自动化合规性。

    要以自动方式应用数据隐私、保护与合规并启用审计功能,您可以使用 AWS Key Management Service (AWS KMS)AWS Identity and Access Management (IAM)AWS Secrets ManagerAWS Audit ManagerAmazon Macie

  3. 治理数据以在整个公司内共享。提供独有的数据目录和业务词汇表,以使用户可以查找和使用其所需的数据。

    AWS Lake Formation 帮助您治理数据并在整个公司内共享数据。此外,您可以使用 Amazon DataZone(预览版)在上创建唯一的数据目录AWS Glue和业务词汇表,让您的员工能够找到所需的数据。

  4. 选择适合作业的合适服务。在选择组件时,请考虑功能、可扩展性、数据延迟、运行服务所需的工作量、韧性、集成和自动化。

    你可以考虑使用亚马逊 Athena、亚马逊 EMR AWS Glue亚马逊 OpenSearch 服务、亚马逊Kinesis、亚马逊 R edshift、适用于 Apache Kafka 的亚马逊托管流媒体(亚马逊 MSK)和 Amazon Quick 来管理你的任务。例如,您可以使用 Kinesis 或 Amazon MSK 执行实时流式传输,使用亚马逊 EMR 进行数据处理,或者使用 OpenSearch 服务进行搜索 AWS Glue,使用 Athena 进行临时查询,使用 Amazon Redshift 执行数据仓库。

  5. 使用人工智能(AI)和机器学习(ML)

    您可以在 AWS AI 服务中使用人工智能,通过 A mazon A SageMaker I 实现机器学习。

  6. 为业务人员提供数据素养抽象化工具。

    提供数据素养、工具和抽象的流程不是架构的一部分,但您可以使用 Amazon DataZone(预览版)和 Amaz on Quick 作为数据抽象工具。AWS Lake Formation

  7. 检验数据计划的假设衡量其结果

    您可以使用亚马逊 OpenSearch 服务控制面板或 A mazon Quick 来处理业务结果指标和测试结果,并验证您的假设。

有关不同使用案例示例架构的示例,请参阅 AWS Architecture Center 中的参考架构图。您的技术团队应仅将这些图用作参考,并根据您自己的要求、环境和项目对其进行自定义。