View a markdown version of this page

Trainiere 3D-Gaussian Splatting anhand eines Videos auf Deadline Cloud - Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Trainiere 3D-Gaussian Splatting anhand eines Videos auf Deadline Cloud

Das Job-Bundle gsplat_pipeline führt eine 3D-Gaussian Splatting-Pipeline aus. Das Bundle verwendet eine Videodatei als Eingabe und erzeugt eine Gaussian Splatting-Datei als Ausgabe. .ply Nachdem Sie die Ausgabe heruntergeladen haben, können Sie sie in einem beliebigen Gaussian Splatting Viewer wie z. SuperSplat

Die Pipeline führt eine einzelne Aufgabe aus, die:

  1. Extrahiert Videoframes mit FFmpeg.

  2. Löst das Problem Structure-from-Motion mit COLMAP und GLOMAP, wobei das Lochmodell und unverzerrte Bilder gespeichert werden.

  3. Trainiert Gaussian Splatting mit NeRF Studio Splatfacto, Splatfacto in the Wild oder dem Beispiel der Gsplat Library simple_trainer.py. Die Ausgabe wird in der von .ply Ihnen angegebenen Datei gespeichert.

Um dieses Paket auszuführen, stellen Sie die CloudFormation CUDA-Farmvorlage bereit, um eine Deadline Cloud-Farm mit einer CUDA-GPU-Flotte zu erstellen. Erstellen Sie dann das NeRF Studio-Conda-Paket und veröffentlichen Sie es auf Ihrem S3-Conda-Kanal.

Wenn Sie nur den Standardtrainer NERFSTUDIO (Splatfacto) benötigen, benötigen Sie weder die CUDA-Farmvorlage noch das benutzerdefinierte NeRF Studio-Conda-Paket. Die Mindestanforderungen sind eine Deadline Cloud-Farm mit einer GPU-Flotte, eine Warteschlangenumgebung, die Folgendes beinhaltetconda-forge, und die folgenden Conda-Pakete:. ffmpeg colmap glomap nerfstudio cuda

Folgen Sie diesen Tipps, um ein brauchbares Video aufzunehmen:

  • Verwenden Sie ein weites Sichtfeld, sodass mehr Objekte zwischen den Bildpaaren Structure-from-Motion zur Verfügung stehen, die verwendet werden können.

  • Schalten Sie die Videostabilisierung aus, um die identische Linsenoptik zwischen den Bildern beizubehalten.

  • Nehmen Sie mit langsamer und stetiger Bewegung auf. Bewegen Sie die Kamera weiter und vermeiden Sie es, von einem einzigen Ort aus anzuhalten und zu schwenken.

Reichen Sie den Job aus dem job_bundles Verzeichnis des Proben-Repositorys ein:

deadline bundle gui-submit gsplat_pipeline

Wählen Sie auf der Registerkarte Job-specific Einstellungen die Pfade sowohl für die Eingabevideodatei als auch für die .ply Ausgabedatei aus.