搭配服務受管機群使用任務附件 - 截止日期雲端

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

搭配服務受管機群使用任務附件

任務附件會使用 Amazon Simple Storage Service (Amazon S3) 在您的工作站與截止日期雲端工作者之間傳輸檔案。您可以單獨使用任務附件,或與共用儲存搭配使用,將輔助資料連接到未與其他任務共用的任務,例如本機存放的任務指令碼、組態檔案或專案資產。

如需有關任務附件如何運作的詳細資訊,請參閱《截止日期雲端使用者指南》中的任務附件。如需在任務套件中指定輸入和輸出檔案的詳細資訊,請參閱 使用任務附件來共用檔案

選擇檔案系統模式

使用附件提交任務時,您可以透過設定 fileSystem 屬性,選擇工作者從 Amazon S3 載入檔案的方式:

  • COPIED (預設) – 在任務開始之前,將所有檔案下載至本機磁碟。當每個任務需要大部分的輸入檔案時最佳。

  • VIRTUAL – 掛載可隨需下載檔案的虛擬檔案系統。當任務只需要輸入檔案的子集時最佳。僅適用於 Linux SMF 工作者。

重要

VIRTUAL 模式快取可能會增加記憶體使用量,而且未針對所有工作負載最佳化。建議您在執行生產任務之前測試工作負載。

如需設定檔案系統模式的詳細資訊,請參閱《截止日期雲端使用者指南》中的虛擬檔案系統

最佳化傳輸效能

從 Amazon S3 同步檔案到 SMF 工作者的速度取決於機群的 Amazon Elastic Block Store (Amazon EBS) 磁碟區組態。根據預設,SMF 工作者會使用具有基準效能設定的 gp3 Amazon EBS 磁碟區。對於具有大型輸入檔案或許多小型檔案的工作負載,您可以透過增加 Amazon EBS 輸送量和 IOPS 設定來提高傳輸速度。您可以使用 AWS Command Line Interface () 更新這些設定AWS CLI。

輸送量 (MiB/s)

可從磁碟區讀取或寫入資料的速率。預設為 125 MiB/s,gp3 磁碟區上限為 1,000 MiB/s。針對大型循序檔案傳輸增加 。

IOPS

每秒的輸入/輸出操作。預設為 3,000 IOPS,gp3 磁碟區的上限為 16,000 IOPS。傳輸多個小型檔案時增加 。

注意

提高 Amazon EBS 輸送量和 IOPS 會增加機群成本。如需定價資訊,請參閱截止日期雲端定價

使用 更新現有機群上的 Amazon EBS 設定 AWS CLI
  • 執行以下命令:

    aws deadline update-fleet \ --farm-id farm-0123456789abcdef0 \ --fleet-id fleet-0123456789abcdef0 \ --configuration '{ "serviceManagedEc2": { "instanceCapabilities": { "vCpuCount": {"min": 4}, "memoryMiB": {"min": 8192}, "osFamily": "linux", "cpuArchitectureType": "x86_64", "rootEbsVolume": { "sizeGiB": 250, "iops": 6000, "throughputMiB": 500 } }, "instanceMarketOptions": {"type": "spot"} } }'

下載任務輸出

任務完成後,請使用截止日期雲端 CLI 或 AWS 截止日期雲端監視器 (截止日期雲端監視器) 下載輸出檔案:

deadline job download-output --job-id job-0123456789abcdef0

如需在任務完成時自動下載輸出,請參閱《截止日期雲端使用者指南》中的自動下載