View a markdown version of this page

Addestra lo splatting gaussiano 3D dal video su Deadline Cloud - Deadline Cloud

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Addestra lo splatting gaussiano 3D dal video su Deadline Cloud

Il job bundle gsplat_pipeline esegue una pipeline 3D Gaussian Splatting. Il pacchetto accetta un file video come input e produce un file Gaussian Splatting come output. .ply Dopo aver scaricato l'output, puoi visualizzarlo in qualsiasi visualizzatore Gaussian Splatting come. SuperSplat

La pipeline esegue una singola attività che:

  1. Estrae i fotogrammi video con FFmpeg.

  2. Risolve Structure-from-Motion con COLMAP e GLOMAP, salvando il modello stenopeico e le immagini senza distorsioni.

  3. Addestra Gaussian Splatting con NeRF Studio splatfacto, Splatfacto in the Wild o l'esempio della libreria gsplat simple_trainer.py. L'output .ply viene salvato nel file specificato.

Per eseguire questo pacchetto, implementa il CloudFormation modello di farm CUDA per creare una farm Deadline Cloud con una flotta di GPU CUDA. Quindi crea il pacchetto conda nERF Studio e pubblicalo sul tuo canale S3 conda.

Se hai solo bisogno del trainer predefinito NERFSTUDIO (splatfacto), non hai bisogno del modello di farm CUDA o del pacchetto conda personalizzato di NerF Studio. I requisiti minimi sono una farm Deadline Cloud con una flotta di GPU, un ambiente di coda che includa e i seguenti pacchetti conda:. conda-forge ffmpeg colmap glomap nerfstudio cuda

Per registrare un video utilizzabile, segui questi suggerimenti:

  • Utilizzate un ampio campo visivo in modo che più oggetti siano comuni tra coppie di immagini Structure-from-Motion da utilizzare.

  • Disattiva la stabilizzazione video per mantenere l'ottica dell'obiettivo identica tra i fotogrammi.

  • Cattura con movimenti lenti e costanti. Continua a muovere la fotocamera ed evita di fermarti e fare panoramica da un'unica posizione.

Dalla job_bundles directory del repository degli esempi, invia il lavoro:

deadline bundle gui-submit gsplat_pipeline

Nella scheda Job-specific Impostazioni, selezionate i percorsi sia per il file video di input che per il .ply file di output.