View a markdown version of this page

Entraînez des éclaboussures gaussiennes en 3D à partir d'une vidéo sur Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Entraînez des éclaboussures gaussiennes en 3D à partir d'une vidéo sur Deadline Cloud

Le bundle de tâches gsplat_pipeline exécute un pipeline Gaussian Splatting 3D. Le bundle prend un fichier vidéo en entrée et produit un fichier Gaussian Splatting en sortie. .ply Après avoir téléchargé le résultat, vous pouvez l'afficher dans n'importe quel visualiseur Gaussian Splatting tel que. SuperSplat

Le pipeline exécute une seule tâche qui :

  1. Extrait les images vidéo avec FFmpeg.

  2. Résout Structure-from-Motion avec COLMAP et GLOMAP, en enregistrant le modèle à sténopé et les images non déformées.

  3. Entraîne le gaussian Splatting avec nRF Studio splatfacto, Splatfactoin the Wild ou l'exemple de bibliothèque gsplat simple_trainer.py. La sortie est enregistrée dans le .ply fichier que vous spécifiez.

Pour exécuter ce bundle, déployez le CloudFormation modèle de ferme CUDA afin de créer une ferme Deadline Cloud avec un parc de processeurs graphiques CUDA. Créez ensuite le package conda NerF Studio et publiez-le sur votre canal conda S3.

Si vous n'avez besoin que de l'entraîneur par défaut NERFSTUDIO (splatfacto), vous n'avez pas besoin du modèle de ferme CUDA ni du package conda personnalisé NerF Studio. Les exigences minimales sont une ferme Deadline Cloud avec un parc de GPU, un environnement de file d'attente qui inclut conda-forge et les packages conda suivants :ffmpeg colmap glomap nerfstudio cuda.

Pour enregistrer une vidéo utilisable, suivez ces conseils :

  • Utilisez un large champ de vision afin d'utiliser un plus grand nombre d'objets communs entre les paires Structure-from-Motion d'images.

  • Désactivez la stabilisation vidéo pour conserver des optiques d'objectif identiques entre les images.

  • Capturez avec des mouvements lents et réguliers. Continuez à déplacer l'appareil photo et évitez de vous arrêter et de vous déplacer en un seul endroit.

À partir du job_bundles répertoire du référentiel d'échantillons, soumettez le travail :

deadline bundle gui-submit gsplat_pipeline

Dans l'onglet Job-specific Paramètres, sélectionnez les chemins du fichier vidéo d'entrée et du .ply fichier de sortie.