本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 AWS DataSync 执行大规模数据迁移
大规模数据迁移可能涉及传输大量数据,包含数百万个不同格式的文件或对象。AWS DataSync 通过管理调度、监控、加密和数据验证来简化这种复杂的传输。
什么是大规模数据迁移?
大规模数据迁移通常涉及将分布在不同来源的 TB 级或更多数据传输到新的目标存储环境(在此情况下为 AWS)。这种迁移需要在组织内部精心规划和协调,以确保成功迁移数据,同时最大限度地减少业务中断。
DataSync 可以简化这种迁移,本质上,这种迁移通常就比较复杂。使用 DataSync 进行迁移的一些好处包括:
-
自动管理数据传输过程以及高性能和安全数据传输所需的基础架构。
-
端到端安全性,包括加密和完整性验证,以帮助确保您的数据安全、完好无损且随时可用。
-
专用网络协议和并行多线程架构,可加快迁移速度。
大规模数据迁移的关键阶段
通常可以将大规模迁移分为以下几个阶段:
-
(第 1 阶段)规划数据迁移:在此阶段,您正在尝试了解迁移的原因,以及正在使用什么样的数据。规划活动包括:
-
了解迁移的原因
-
组建一支团队,协助您处理迁移的更方面事务。
-
识别数据位置、格式和使用模式
-
评估可用硬件资源和网络需求(如果从本地数据中心迁移)
-
使用 DataSync 运行概念验证(POC)试验,以估算迁移时间表、规划割接窗口,并了解需要如何配置 DataSync
-
-
(第 2 阶段)实施大规模数据迁移:此时,您正在验证迁移计划并开始迁移。实施活动包括:
-
验证迁移计划
-
执行阶段割接,包括监控和验证数据传输是否符合预期
-
在割接的间期根据需要进行优化和调整
-
完成后,清理未使用的资源
-
其他资源
AWS Prescriptive Guidance 包含以下有助于规划和实施大规模迁移的资源。可使用本指南了解 DataSync 如何在常见的迁移流程和活动中发挥作用。
-
在 AWS 大规模迁移中迁移共享文件系统:此资源包括 SFS-Discovery-Workbook,可下载此文件用于规划文件共享级别的迁移。