View a markdown version of this page

從截止日期雲端上的影片訓練 3D 高斯潑濺 - 截止日期雲端

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

從截止日期雲端上的影片訓練 3D 高斯潑濺

GitHub 網站上的 gsplat_pipeline 任務套件會執行 3D 高斯潑濺管道。套件採用影片檔案做為輸入，並產生高斯潑濺.ply檔案做為輸出。下載輸出之後，您可以在 GitHub 網站的任何高斯潑濺檢視器中檢視，例如 SuperSplat。

管道會執行執行下列步驟的單一任務：

  1. 在 FFmpeg 網站上使用 FFmpeg 擷取影片影格。

  2. 使用 COLMAP 網站上的 COLMAP 和 GitHub 網站上的 GLOMAP 解決Structure-from-Motion，以儲存針孔模型和無失真的映像。 GitHub

  3. 使用三種訓練工具之一訓練高斯潑濺：Nerfstudio 網站上的 NeRF Studio splatfacto、Nerfstudio 網站上的 Wild 中的 Splatfacto，或 gsplat 網站上的 simple_trainer.py gsplat 程式庫範例。輸出會儲存到您指定的.ply檔案。

若要執行此套件，請在 GitHub 網站上部署 CUDA 陣列 CloudFormation 範本，以使用 CUDA GPU 機群建立截止日期雲端陣列。然後在 GitHub 網站上建置 NeRF Studio conda 套件，並將其發佈到您的 S3 conda 頻道。

如果您只需要預設 NERFSTUDIO(splatfacto) 訓練程式，則不需要 CUDA 陣列範本或自訂 NeRF Studio conda 套件。最低需求是具有 GPU 機群的截止日期雲端陣列、包含 的佇列環境conda-forge，以及下列 conda 套件：ffmpeg colmap glomap nerfstudio cuda。

若要擷取可用的影片，請遵循下列秘訣：

  • 使用寬廣的視野，以便在影像對之間有更多常用的物件，Structure-from-Motion。

  • 關閉影像穩定功能，以在影格之間保留相同的鏡頭光學。

  • 以緩慢且穩定的動作擷取。繼續移動攝影機，並避免從單一位置停止和平移。

從範例儲存庫的 job_bundles目錄中，提交任務：

deadline bundle gui-submit gsplat_pipeline

在任務特定設定索引標籤上，選取輸入影片檔案和輸出.ply檔案的路徑。

如需涵蓋擷取影片、提交和監控任務，以及檢視訓練結果的完整演練，請參閱 從您自己的影片訓練 3D 高斯潑濺。