View a markdown version of this page

Deadline Cloud のビデオから 3D ガウシアンスプラットをトレーニングする - Deadline クラウド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Deadline Cloud のビデオから 3D ガウシアンスプラットをトレーニングする

GitHub ウェブサイトの gsplat_pipeline ジョブバンドルは、3D ガウシアンスプラットパイプラインを実行します。バンドルはビデオファイルを入力として受け取り、出力としてガウシアンスプラット.plyファイルを生成します。出力をダウンロードしたら、GitHub ウェブサイトの SuperSplat などのガウシアンスプラットビューワーで表示できます。

パイプラインは、以下の手順を実行する 1 つのタスクを実行します。

  1. FFmpeg ウェブサイトで FFmpeg を使用して動画フレームを抽出します。

  2. COLMAP ウェブサイトの Structure-from-Motion と GitHub ウェブサイトの GLOMAP を解決し、ピンホールモデルとゆがんだイメージを保存します。

  3. Nerfstudio ウェブサイトの NeRF Studio splatfacto、Nerfstudio ウェブサイトのワイルドの Splatfacto、または gsplat ウェブサイトの simple_trainer.py gsplat ライブラリの例の 3 つのトレーナーのいずれかを使用して、ガウシアンスプラットをトレーニングします。出力は、指定した.plyファイルに保存されます。

このバンドルを実行するには、GitHub ウェブサイトで CUDA ファーム CloudFormation テンプレートをデプロイして、CUDA GPU フリートを持つ Deadline Cloud ファームを作成します。次に、GitHub ウェブサイトで NeRF Studio conda パッケージを構築し、S3 conda チャネルに公開します。

デフォルトの NERFSTUDIO (splatfacto) トレーナーのみが必要な場合は、CUDA ファームテンプレートやカスタム NeRF Studio conda パッケージは必要ありません。最小要件は、GPU フリートを持つ Deadline Cloud ファーム、 を含むキュー環境conda-forge、および の conda パッケージですffmpeg colmap glomap nerfstudio cuda。

使用可能な動画をキャプチャするには、以下のヒントに従ってください。

  • Structure-from-Motion で使用するイメージペア間でより多くのオブジェクトが共通になるように、広い視野を使用します。

  • ビデオ安定化をオフにして、フレーム間で同一のレンズ光学系を維持します。

  • 低速で安定したモーションでキャプチャします。カメラを動かし続け、1 つの場所から停止してパンしないようにします。

サンプルリポジトリの job_bundles ディレクトリから、ジョブを送信します。

deadline bundle gui-submit gsplat_pipeline

ジョブ固有の設定タブで、入力ビデオファイルと出力.plyファイルの両方のパスを選択します。

動画のキャプチャ、ジョブの送信とモニタリング、トレーニングされた結果の表示に関する詳細なチュートリアルについては、「」を参照してください独自のビデオから 3D ガウシアンスプラットをトレーニングする。