使用 AWS DataSync 执行大规模数据迁移 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 AWS DataSync 执行大规模数据迁移

大规模数据迁移可能涉及传输大量数据,包含数百万个不同格式的文件或对象。AWS DataSync 通过管理调度、监控、加密和数据验证来简化这种复杂的传输。

什么是大规模数据迁移?

大规模数据迁移通常涉及将分布在不同来源的 TB 级或更多数据传输到新的目标存储环境(在此情况下为 AWS)。这种迁移需要在组织内部精心规划和协调,以确保成功迁移数据,同时最大限度地减少业务中断。

DataSync 可以简化这种迁移,本质上,这种迁移通常就比较复杂。使用 DataSync 进行迁移的一些好处包括:

  • 自动管理数据传输过程以及高性能和安全数据传输所需的基础架构。

  • 端到端安全性,包括加密和完整性验证,以帮助确保您的数据安全、完好无损且随时可用。

  • 专用网络协议和并行多线程架构,可加快迁移速度。

大规模数据迁移的关键阶段

通常可以将大规模迁移分为以下几个阶段:

  • (第 1 阶段)规划数据迁移:在此阶段,您正在尝试了解迁移的原因,以及正在使用什么样的数据。规划活动包括:

    • 了解迁移的原因

    • 组建一支团队,协助您处理迁移的更方面事务。

    • 识别数据位置、格式和使用模式

    • 评估可用硬件资源和网络需求(如果从本地数据中心迁移)

    • 使用 DataSync 运行概念验证(POC)试验,以估算迁移时间表、规划割接窗口,并了解需要如何配置 DataSync

  • (第 2 阶段)实施大规模数据迁移:此时,您正在验证迁移计划并开始迁移。实施活动包括:

    • 验证迁移计划

    • 执行阶段割接,包括监控和验证数据传输是否符合预期

    • 在割接的间期根据需要进行优化和调整

    • 完成后,清理未使用的资源

其他资源

AWS Prescriptive Guidance 包含以下有助于规划和实施大规模迁移的资源。可使用本指南了解 DataSync 如何在常见的迁移流程和活动中发挥作用。