View a markdown version of this page

Treine 3D Gaussian Splatting a partir de um vídeo no Deadline Cloud - Nuvem de prazos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Treine 3D Gaussian Splatting a partir de um vídeo no Deadline Cloud

O pacote de tarefas gsplat_pipeline executa um pipeline 3D Gaussian Splatting. O pacote usa um arquivo de vídeo como entrada e produz um arquivo Gaussian .ply Splatting como saída. Depois de baixar a saída, você pode visualizá-la em qualquer visualizador de Gaussian Splatting, como. SuperSplat

O pipeline executa uma única tarefa que:

  1. Extrai quadros de vídeo com FFmpeg.

  2. Resolve Structure-from-Motion com COLMAP e GLOMAP, salvando o modelo pinhole e imagens sem distorções.

  3. Treina Gaussian Splatting com nERf Studio splatfacto, Splatfactoin the Wild ou o exemplo da biblioteca simple_trainer.py gsplat. A saída é salva no .ply arquivo que você especificar.

Para executar esse pacote, implante o CloudFormation modelo de fazenda CUDA para criar uma fazenda Deadline Cloud com uma frota de GPU CUDA. Em seguida, crie o pacote nERf Studio conda e publique-o em seu canal S3 conda.

Se você só precisa do treinador padrão NERFSTUDIO (splatfacto), não precisa do modelo CUDA farm ou do pacote conda personalizado do NerF Studio. Os requisitos mínimos são uma fazenda Deadline Cloud com uma frota de GPU, um ambiente de fila que incluiconda-forge, e os seguintes pacotes conda:. ffmpeg colmap glomap nerfstudio cuda

Para capturar um vídeo utilizável, siga estas dicas:

  • Use um amplo campo de visão para que mais objetos sejam comuns entre os pares de imagens Structure-from-Motion para uso.

  • Desative a estabilização de vídeo para preservar lentes ópticas idênticas entre os quadros.

  • Capture com movimento lento e constante. Continue movendo a câmera e evite parar e fazer panorâmicas em um único local.

No job_bundles diretório do repositório de amostras, envie o trabalho:

deadline bundle gui-submit gsplat_pipeline

Na guia de Job-specific configurações, selecione caminhos para o arquivo de vídeo de entrada e o .ply arquivo de saída.