View a markdown version of this page

從截止日期雲端上的影片訓練 3D 高斯潑濺 - 截止日期雲端

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

從截止日期雲端上的影片訓練 3D 高斯潑濺

gsplat_pipeline 任務套件會執行 3D 高斯潑濺管道。套件採用影片檔案做為輸入，並產生高斯潑濺.ply檔案做為輸出。下載輸出之後，您可以在 SuperSplat 等任何高斯潑濺檢視器中檢視輸出。

管道會執行單一任務：

  1. 使用 FFmpeg 擷取影片影格。

  2. 使用 COLMAP 和 GLOMAP Structure-from-Motion，儲存針孔模型和無失真影像。

  3. 使用 NeRF Studio splatfacto、Wild 中的 Splatfacto 或 simple_trainer.py gsplat 程式庫範例來訓練高斯潑濺。輸出會儲存至您指定的.ply檔案。

若要執行此套件，請部署 CUDA 陣列 CloudFormation 範本，以使用 CUDA GPU 機群建立截止日期雲端陣列。然後建置 NeRF Studio conda 套件，並將其發佈到您的 S3 conda 頻道。

如果您只需要預設 NERFSTUDIO(splatfacto) 訓練程式，則不需要 CUDA 陣列範本或自訂 NeRF Studio conda 套件。最低需求是具有 GPU 機群的截止日期雲端陣列、包含 的佇列環境conda-forge，以及下列 conda 套件：ffmpeg colmap glomap nerfstudio cuda。

若要擷取可用的影片，請遵循下列秘訣：

  • 使用寬廣的視野，以便在影像對之間有更多常用的物件，Structure-from-Motion。

  • 關閉影像穩定功能，以在影格之間保留相同的鏡頭光學。

  • 以緩慢且穩定的動作擷取。繼續移動攝影機，並避免從單一位置停止和平移。

從範例儲存庫的 job_bundles目錄中，提交任務：

deadline bundle gui-submit gsplat_pipeline

在任務特定設定索引標籤上，選取輸入影片檔案和輸出.ply檔案的路徑。