估算迁移时间表 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

估算迁移时间表

使用到目前为止收集的信息,您可以使用 AWS DataSync 估算迁移要花费的时间。

估算数据传输时间表

可根据在收集迁移要求期间收集的以下信息,以及 DataSync 概念验证(POC)来估算 DataSync 传输数据花费的时间:

估算数据传输时间表
  1. 将 POC 的数据和文件吞吐量与可用的网络带宽进行比较。

  2. 如果吞吐量低于可用带宽(例如,吞吐量为 300 MiB/s,而网络带宽为 10 Gbps),可考虑将数据集划分到多个任务中,以最大限度地提高带宽使用率。

    DataSync 有几个数据集分区选项。有关更多信息,请参阅 通过数据分区加速迁移

  3. 使用以下公式计算传输天数,该公式提供了理论上的最短传输时间:

    (DATA_SIZE * 8 bits per byte)/(CIRCUIT * NETWORK_UTILIZATION percentage * 3600 seconds per hour * AVAILABLE_HOURS) = Number of days

    使用此公式时,请将以下内容替换为您自己的值:

    • DATA_SIZE:要迁移的数据量(以字节表示)。

    • CIRCUIT:可用网络带宽(以每秒位数表示)。

    • NETWORK_UTILIZATION: 网络使用百分比。

    • AVAILABLE_HOURS:每天可用的运行小时数。

    例如,可以按以下方式计算涉及 100 TB 数据、1 Gbps 互联网连接、80% 网络利用率和每天 24 小时可用性的迁移:

    (100,000,000,000,000 bytes * 8) / (1,000,000,000 bps * 0.80 * 3600 * 24) = 11.57 days

    在这种情况下,若不考虑到实际情况,迁移过程可能耗时近 12 天。

  4. 请根据实际情况,调整计算的传输时长:

    • 网络性能波动

    • 存储性能差异

    • 迁移波次之间的停机时间

估算割接时间表

如果要迁移活动数据集,可能需要割接,以免中断业务运营。

不要低估割接需要的时间。在大规模迁移中,割接活动占到总迁移时间的 30% 的情况并不少见。

  1. 评估是否需要进行多波割接,以减少为增量更改而扫描的数据量。

    为实现这一点,一种策略是对根据共享、文件夹或存储系统分区的数据集进行割接。

  2. 查看 DataSync 在 POC 期间准备、传输和验证数据通常需要多长时间。

    请特别注意任务执行的准备时长。要查找此信息,请运行 DescribeTaskExecution 操作,然后检查该时长的 PrepareDuration 值(以毫秒为单位)。

  3. 通过测量并行任务之间的时间差,估算割接可能需要的时间。

    有关并行任务的更多信息,请参阅通过数据分区加速迁移

  4. 使用割接估算值来安排割接活动。当源数据无法修改时,这些时间本质上就是维护时段。

后续步骤

在估算好时间表之后,就可以开始实施迁移了。