为数据传输选择任务模式 - AWS DataSync
了解任务模式的差异选择任务模式

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为数据传输选择任务模式

您的 AWS DataSync 任务可以在以下模式之一下运行：

  • 增强模式-传输几乎无限数量的对象，其性能高于基本模式。增强模式任务通过并行列出、准备、传输和验证数据来优化数据传输过程。增强模式目前可用于在 Amazon S3 地点之间进行传输，在没有代理的情况下在 Amazon S3 之间Azure Blob进行传输，以及在没有代理的情况下在其他云和 Amazon S3 之间传输。

  • 基本模式-在 AWS 存储和所有其他支持的 DataSync 位置之间传输文件或对象。基本模式任务受数据集中文件、对象和目录数量的配额限制。基本模式按顺序准备、传输和验证数据，因此对于大多数工作负载，基本模式的速度比增强模式慢。

了解任务模式的差异

以下信息可以帮助您确定要使用哪种任务模式。

能力 增强模式行为 基本模式行为
性能 DataSync 并行列出、准备、传输和验证您的数据。为大多数工作负载（例如传输大型对象）提供比基本模式更高的性能 DataSync 按顺序准备、传输和验证您的数据。大多数工作负载的性能都比增强模式慢
数据集中每次执行任务时 DataSync 可以处理的项目数

物体数量几乎不受限制

配额适用

数据传输计数器和指标

与 “基本” 模式相比，计数器和指标更多，例如在源位置 DataSync找到的对象数量以及在每次任务执行期间准备了多少对象

计数器和指标比增强模式少

日志记录

 结构化日志（JSON 格式） 非结构化日志

支持的地点

 目前用于在 Amazon S3 地点之间进行传输，在没有代理的情况下在 Amazon S3 Azure Blob 和 Amazon S3 之间进行传输，以及在没有代理的情况下在其他云和 Amazon S3 之间传输。

适用于所有 DataSync 支持的地点之间的传输

数据验证选项

 DataSync 仅验证传输的数据 DataSync 默认情况下会验证所有数据
带宽限制 不适用 支持
成本 有关更多信息，请参阅定DataSync 价页面 有关更多信息，请参阅定DataSync 价页面
不支持的对象标签的故障处理 对于向不支持对象标记的位置或从不支持对象标记的位置传输云存储，如果该ObjectTags选项未指定或设置为，则任务执行将立即失败。PRESERVE 对于往返不支持对象标记的位置的云存储传输，任务执行将正常运行，但如果该ObjectTags选项未指定或设置为，则会报告已标记对象的逐对象故障。PRESERVE

选择任务模式

您只能为 Amazon S3 地点之间的传输、不使用代理的与 Amazon S3 之间的Azure Blob传输以及不使用代理的其他云和 Amazon S3 之间的传输选择增强模式。否则，必须使用基本模式。例如，从本地 NFS 位置传输到 S3 位置需要基本模式。

根据您选择的任务模式，您的任务选项和性能可能会有所不同。创建任务后，就无法更改任务模式。

所需的权限

要创建增强模式任务，您使用的 IAM 角色必须 DataSync 具有iam:CreateServiceLinkedRole权限。

要获得 DataSync 用户权限，请考虑使用AWSDataSyncFullAccess。这是一个 AWS 托管策略，为用户提供对其依赖项的完全访问权限 DataSync 和最少访问权限。

  1. 打开 AWS DataSync 控制台，网址为https://console.aws.amazon.com/datasync/。

  2. 在左侧导航窗格中，展开数据传输，然后选择任务，然后选择创建任务。

  3. 配置您任务的源位置和目标位置。

    有关更多信息，请参阅 我可以在哪里通过 AWS DataSync传输数据？。

  4. 对于任务模式，请选择以下选项之一：

    • 增强型

    • 基本

    有关更多信息，请参阅 了解任务模式的差异。

  5. 仍在 “配置设置” 页面上，选择其他任务选项或使用默认设置。

    您可能对以下一些选项感兴趣：

    完成此操作后，选择 Next (下一步)。

  6. 检查任务配置，然后选择创建任务。

  1. 在你的 AWS CLI 设置中，确保你使用的是你计划传输数据的 AWS 区域 位置之一。

  2. 复制以下 create-task 命令：

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --task-mode "ENHANCED-or-BASIC"

  3. 对于 --source-location-arn，指定源位置的 Amazon 资源名称（ARN）。

  4. 对于 --destination-location-arn，指定目标位置的 ARN。

    如果您要跨 AWS 区域 账户转账，请确保 ARN 包含其他地区或账户 ID。

  5. 对于--task-mode，请指定ENHANCED或BASIC。

    有关更多信息，请参阅 了解任务模式的差异。

  6. 根据需要指定其他任务选项。您可能对以下一些选项感兴趣：

    有关更多选项，请参阅 create-task。以下是指定增强模式和其他几个选项的create-task命令示例：

    aws datasync create-task \
  --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \
  --name "task-name" \
  --task-mode "ENHANCED" \
  --options TransferMode=CHANGED,VerifyMode=ONLY_FILES_TRANSFERRED,ObjectTags=PRESERVE,LogLevel=TRANSFER

  7. 运行 create-task 命令。

    如果命令成功，您将收到一条响应，显示所创建任务的 ARN。例如：

    { 
    "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" 
}

您可以通过在CreateTask操作中配置TaskMode参数来指定 DataSync 任务模式。