View a markdown version of this page

Deadline Cloud のビデオから 3D ガウシアンスプラットをトレーニングする - Deadline クラウド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Deadline Cloud のビデオから 3D ガウシアンスプラットをトレーニングする

gsplat_pipeline ジョブバンドルは、3D ガウシアンスプラットパイプラインを実行します。バンドルはビデオファイルを入力として受け取り、出力としてガウシアンスプラット.plyファイルを生成します。出力をダウンロードしたら、SuperSplat などのガウシアンスプラットビューワーで表示できます。

パイプラインは、次の 1 つのタスクを実行します。

  1. FFmpeg で動画フレームを抽出します。

  2. COLMAP と GLOMAP を使用して Structure-from-Motion を解決し、ピンホールモデルとゆがんだイメージを保存します。

  3. NeRF Studio splatfacto、Splatfacto in the Wild、または simple_trainer.py gsplat ライブラリの例を使用して、ガウシアンスプラットをトレーニングします。出力は、指定した.plyファイルに保存されます。

このバンドルを実行するには、CUDA ファーム CloudFormation テンプレートをデプロイして、CUDA GPU フリートを持つ Deadline Cloud ファームを作成します。次に、NeRF Studio conda パッケージを構築し、S3 conda チャネルに公開します。

デフォルトの NERFSTUDIO (splatfacto) トレーナーのみが必要な場合は、CUDA ファームテンプレートやカスタム NeRF Studio conda パッケージは必要ありません。最小要件は、GPU フリートを持つ Deadline Cloud ファーム、 を含むキュー環境conda-forge、および の conda パッケージですffmpeg colmap glomap nerfstudio cuda。

使用可能な動画をキャプチャするには、以下のヒントに従ってください。

  • Structure-from-Motion で使用するイメージペア間でより多くのオブジェクトが共通になるように、広い視野を使用します。

  • ビデオ安定化をオフにして、フレーム間で同一のレンズ光学系を維持します。

  • 低速で安定したモーションでキャプチャします。カメラを動かし続け、1 つの場所から停止してパンしないようにします。

サンプルリポジトリの job_bundles ディレクトリから、ジョブを送信します。

deadline bundle gui-submit gsplat_pipeline

ジョブ固有の設定タブで、入力ビデオファイルと出力.plyファイルの両方のパスを選択します。