运行 DataSync 概念验证 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

运行 DataSync 概念验证

通过 AWS DataSync 运行概念验证(POC)有助于验证数据迁移计划的以下方面:

  • 验证源位置和目标位置之间的网络连接。

  • 验证初始 DataSync 任务配置。

  • 测量数据传输性能。

  • 估算迁移时间表。

  • 与参与迁移的主要利益相关者一起定义成功的标准。

开始使用概念验证

  1. 创建 DataSync 代理:

  2. 选择一小部分数据代表要迁移的数据。

    例如,如果源存储混合了大文件和小文件,则在 POC 中传输的数据子集中应反映这一点。这样就可以初步了解存储系统、网络和 DataSync 的性能。

  3. 本地其他云存储系统创建 DataSync 源位置。

  4. AWS 存储服务创建 DataSync 目标位置。

  5. 使用仅传输数据子集的筛选器创建 DataSync 传输任务

  6. 启动 DataSync 任务

  7. 通过监控以下内容来收集传输性能指标:

    • 任务执行的数据与文件吞吐量。可通过 DataSync 控制台或 DescribeTaskExecution 操作来实现这一点。如果使用的是 DescribeTaskExecution,以下是计算这些指标的方法:

      • 数据吞吐量BytesWritten 除以 TransferDuration

      • 文件吞吐量FilesTransferred 除以 TransferDuration

    • 源存储和目标存储的利用率。与存储管理员密切合作以获取此信息。

    • 网络使用量。

  8. 验证传输到目标位置的数据:

    • 查看 CloudWatch 日志以查找任务执行错误。

    • 验证目标位置是否保留了相应权限和元数据。

    • 确认应用程序和用户可以按预期访问目标数据。

    • 解决遇到的任何问题。有关更多信息,请参阅 解决 AWS DataSync 问题

  9. 再运行几次任务,了解 DataSync 需要准备、传输和验证数据的时长。(有关更多信息,请参阅 任务执行状态。)

    如果多次运行一项任务,则 DataSync 默认会进行增量传输,并且仅复制与上一次任务运行相比发生变化的数据。

    虽然增量传输的传输时间可能会较短,但 DataSync 始终以相同的方式准备传输,它通过扫描和比较位置来确定要传输的内容。可使用这些准备时间来估算迁移的割接时间表

  10. 如果需要,请根据 POC 期间了解的信息更新迁移计划。