選擇任務模式進行資料傳輸 - AWS DataSync

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

選擇任務模式進行資料傳輸

您的 AWS DataSync 任務可以在下列其中一種模式下執行:

  • 增強模式 – 傳輸幾乎無限數量的物件,其效能比基本模式更高。增強型模式任務透過並行列出、準備、傳輸和驗證資料來最佳化資料傳輸程序。增強型模式目前可用於 Amazon S3 位置之間的傳輸。

  • 基本模式 – 在 AWS 儲存體和所有其他支援的 DataSync 位置之間傳輸檔案或物件。基本模式任務會受到資料集中檔案、物件和目錄數量的配額限制。基本模式會依序準備、傳輸和驗證資料,因此比大多數工作負載的增強型模式慢。

了解任務模式差異

以下資訊可協助您決定要使用的任務模式。

功能 增強型模式行為 基本模式行為
效能 DataSync 會同時列出、準備、傳輸和驗證您的資料。為大多數工作負載 (例如傳輸大型物件) 提供比基本模式更高的效能 DataSync 會依序準備、傳輸和驗證您的資料。對於大多數工作負載,效能比增強型模式慢
DataSync 可在每個任務執行中使用的資料集項目數量

物件數量幾乎沒有限制

配額適用

資料傳輸計數器指標

比基本模式更多的計數器和指標,例如 DataSync 在您的來源位置找到的物件數量,以及每個任務執行期間準備的物件數量

計數器和指標比增強型模式更少

日誌

結構化日誌 (JSON 格式) 非結構化日誌

支援的位置

目前僅適用於 Amazon S3 位置之間的傳輸

用於 DataSync 支援的所有位置之間的傳輸

資料驗證選項

DataSync 只會驗證傳輸的資料 DataSync 預設會驗證所有資料
頻寬限制 不適用 支援
成本 如需詳細資訊,請參閱 DataSync 定價頁面 如需詳細資訊,請參閱 DataSync 定價頁面

選擇任務模式

只有在 DataSync 任務使用 Amazon S3 位置時,您才可以選擇增強型模式。否則,您必須使用基本模式。例如,從內部部署 NFS 位置轉移到 S3 位置需要基本模式。

您的任務選項和效能可能會因您選擇的任務模式而有所不同。建立任務後,您就無法變更任務模式。

所需的許可

若要建立增強型模式任務,您與 搭配使用 DataSync 的 IAM 角色必須具有 iam:CreateServiceLinkedRole許可。

針對 DataSync 使用者許可,請考慮使用 AWSDataSyncFullAccess。此為 AWS 受管政策,可讓使用者完整存取 DataSync,並盡可能減少對其相依性的存取。

  1. 在 https://https://console.aws.amazon.com/datasync/ 開啟 AWS DataSync 主控台。

  2. 在左側導覽窗格中,展開資料傳輸,然後選擇任務,然後選擇建立任務

  3. 設定任務的來源和目的地位置。

    如需詳細資訊,請參閱 哪裡可以使用 傳輸資料 AWS DataSync?

  4. 針對任務模式,選擇下列其中一個選項:

    • 增強型

    • 基本

    如需詳細資訊,請參閱了解任務模式差異

  5. 仍在設定設定頁面上時,請選擇其他任務選項或使用預設設定。

    您可能會對下列一些選項感興趣:

    完成後,請選擇 Next (下一步)

  6. 檢閱您的任務組態,然後選擇建立任務

  1. 在您的 AWS CLI 設定中,請確定您正在使用 AWS 區域 其中之一的 來傳輸資料。

  2. 複製下列create-task命令:

    aws datasync create-task \ --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --task-mode "ENHANCED-or-BASIC"
  3. 針對 --source-location-arn,指定來源位置的 Amazon Resource Name (ARN)。

  4. 針對 --destination-location-arn,指定目的地位置的 ARN。

    如果您要跨 AWS 區域 或 帳戶轉移,請確定 ARN 包含其他區域或帳戶 ID。

  5. 針對 --task-mode,指定 ENHANCEDBASIC

    如需詳細資訊,請參閱了解任務模式差異

  6. 視需要指定其他任務選項。您可能會對下列一些選項感興趣:

    如需更多選項,請參閱 create-task。以下是指定增強模式和其他幾個選項的範例create-task命令:

    aws datasync create-task \ --source-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --destination-location-arn "arn:aws:datasync:us-east-1:account-id:location/location-id" \ --name "task-name" \ --task-mode "ENHANCED" \ --options TransferMode=CHANGED,VerifyMode=ONLY_FILES_TRANSFERRED,ObjectTags=PRESERVE,LogLevel=TRANSFER
  7. 執行 create-task 命令。

    如果命令成功,您會收到一個回應,顯示您建立之任務的 ARN。例如:

    { "TaskArn": "arn:aws:datasync:us-east-1:111222333444:task/task-08de6e6697796f026" }

您可以在 CreateTask 操作中設定 TaskMode 參數來指定 DataSync 任務模式。