View a markdown version of this page

Treine o Gaussian Splatting 3D a partir de vídeo no Deadline Cloud - Deadline Cloud

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Treine o Gaussian Splatting 3D a partir de vídeo no Deadline Cloud

O pacote de tarefas gsplat_pipeline no GitHub site executa um pipeline 3D Gaussian Splatting. O pacote pega um arquivo de vídeo como entrada e produz um arquivo Gaussian .ply Splatting como saída. Depois de baixar a saída, você pode visualizá-la em qualquer visualizador do Gaussian Splatting, como SuperSplat no site. GitHub

O pipeline executa uma única tarefa que executa as seguintes etapas:

  1. Extrai quadros de vídeo com o FFmpeg no site do FFmpeg.

  2. Resolve Structure-from-Motion com COLMAP no site da COLMAP e GLOMAP no GitHub site, salvando o modelo pinhole e imagens sem distorções.

  3. Treina o Gaussian Splatting com um dos três treinadores: NerF Studio splatfacto no site do Nerfstudio, Splatfacto in the Wild no site do Nerfstudio ou o exemplo da biblioteca simple_trainer.py gsplat no site gsplat. https://docs.gsplat.studio/main/examples/colmap.html A saída é salva no .ply arquivo que você especificar.

Para executar esse pacote, implante o CloudFormation modelo de fazenda CUDA no GitHub site para criar uma fazenda Deadline Cloud com uma frota de GPU CUDA. Em seguida, crie o pacote conda do NerF Studio no GitHub site e publique-o em seu canal conda do S3.

Se você só precisa do treinador padrão NERFSTUDIO (esplatfacto), não precisa do modelo de fazenda CUDA ou do pacote conda NerF Studio personalizado. Os requisitos mínimos são um Deadline Cloud farm com uma frota de GPU, um ambiente de fila que incluiconda-forge, e os seguintes pacotes conda:. ffmpeg colmap glomap nerfstudio cuda

Para capturar um vídeo utilizável, siga estas dicas:

  • Use um amplo campo de visão para que mais objetos sejam comuns entre os pares de imagens Structure-from-Motion para serem usados.

  • Desative a estabilização de vídeo para preservar a ótica da lente idêntica entre os quadros.

  • Capture com movimento lento e constante. Continue movendo a câmera e evite parar e girar a partir de um único local.

No job_bundles diretório do repositório de amostras, envie o trabalho:

deadline bundle gui-submit gsplat_pipeline

Na guia de Job-specific configurações, selecione caminhos para o arquivo de vídeo de entrada e o .ply arquivo de saída.

Para obter uma explicação completa que abrange a captura de um vídeo, o envio e o monitoramento do trabalho e a visualização do resultado treinado, consulte. Treine Gaussian Splatting 3D a partir do seu próprio vídeo