截止日期雲端虛擬檔案系統 - AWS 截止日期雲端

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

截止日期雲端虛擬檔案系統

虛擬檔案系統支援 AWS Deadline Cloud 中的任務附件,可讓工作者上的用戶端軟體直接與 Amazon Simple Storage Service 通訊。工作者只能在需要時才載入檔案,而不是在處理之前下載所有檔案。檔案存放在本機。此方法可避免下載多次使用的資產。任務完成後,會移除所有檔案。

  • 虛擬檔案系統為特定任務設定檔提供顯著的效能提升。一般而言,具有較大工作者機群的較小總檔案子集會顯示最大效益。工作者較少的少量檔案具有大約相等的處理時間。

  • 虛擬檔案系統支援僅適用於服務受管機群中的Linux工作者。

  • Deadline Cloud 虛擬檔案系統支援下列操作,但不符合 POSIX:

    • 檔案 createdeleteopenclosereadwriteappendtruncaterenamemovecopy、、 stat fsyncfalloc

    • 目錄 createdeleterenamemovecopystat

  • 當您的任務僅存取大型資料集的一部分時,虛擬檔案系統旨在減少資料傳輸並改善效能,而且並非所有工作負載都經過最佳化。您應該在執行生產任務之前測試工作負載。

啟用 VFS 支援

為每個任務啟用虛擬檔案系統支援 (VFS)。在這些情況下,任務會回復為預設任務附件架構:

  • 工作者執行個體描述檔不支援虛擬檔案系統。

  • 無法啟動虛擬檔案系統程序的問題。

  • 虛擬檔案系統無法掛載。

使用提交者啟用虛擬檔案系統支援
  1. 提交任務時,請選擇設定按鈕以開啟AWS 截止日期雲端工作站組態面板

  2. 任務連接檔案系統選項下拉式清單中,選擇 VIRTUAL

    顯示任務附件檔案系統選項的截止日期雲端提交者。
  3. 若要儲存變更,請選擇確定

使用 啟用虛擬檔案系統支援 AWS CLI
  • 當您提交儲存的任務時,請使用下列命令:

    deadline bundle submit-job --job-attachments-file-system VIRTUAL

若要驗證虛擬檔案系統是否針對特定任務成功啟動,請在 Amazon CloudWatch Logs 中檢閱您的日誌。尋找下列訊息:

Using mount_point mount_point Launching vfs with command command Launched vfs as pid PID number

如果日誌包含下列訊息,則會停用虛擬檔案系統支援:

Virtual File System not found, falling back to COPIED for JobAttachmentsFileSystem.

對虛擬檔案系統支援進行故障診斷

您可以使用截止日期雲端監視器檢視虛擬檔案系統的日誌。如需說明,請參閱在截止日期雲端中檢視工作階段和工作者日誌

虛擬檔案系統日誌也會傳送至與與工作者代理程式輸出共用的佇列相關聯的 CloudWatch Logs 群組。