View a markdown version of this page

Deadline Cloud의 비디오에서 3D 가우시안 스플랫팅 훈련 - 기한 클라우드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Deadline Cloud의 비디오에서 3D 가우시안 스플랫팅 훈련

gsplat_pipeline 작업 번들은 3D 가우시안 스플랫팅 파이프라인을 실행합니다. 번들은 비디오 파일을 입력으로 사용하고 가우시안 스플래팅 .ply 파일을 출력으로 생성합니다. 출력을 다운로드한 후 SuperSplat과 같은 가우시안 스플랫팅 뷰어에서 출력을 볼 수 있습니다.

파이프라인은 다음과 같은 단일 작업을 실행합니다.

  1. FFmpeg를 사용하여 비디오 프레임을 추출합니다.

  2. COLMAP 및 GLOMAP을 사용하여 Structure-from-Motion을 해결하여 핀홀 모델과 왜곡되지 않은 이미지를 저장합니다.

  3. NeRF Studio splatfacto, Splatfacto in the Wild 또는 simple_trainer.py gsplat 라이브러리 예제를 사용하여 가우시안 스플랫팅을 훈련합니다. 출력은 지정한 .ply 파일에 저장됩니다.

이 번들을 실행하려면 CUDA 팜 CloudFormation 템플릿을 배포하여 CUDA GPU 플릿이 있는 Deadline Cloud 팜을 생성합니다. 그런 다음 NeRF Studio conda 패키지를 빌드하고 S3 conda 채널에 게시합니다.

기본NERFSTUDIO(스플랫팩토) 트레이너만 필요한 경우 CUDA 팜 템플릿이나 사용자 지정 NeRF Studio conda 패키지가 필요하지 않습니다. 최소 요구 사항은 GPU 플릿이 있는 Deadline Cloud 팜,가 포함된 대기열 환경 conda-forge및 conda 패키지인 입니다ffmpeg colmap glomap nerfstudio cuda.

사용 가능한 비디오를 캡처하려면 다음 팁을 따르세요.

  • Structure-from-Motion에서 사용할 이미지 페어 간에 더 많은 객체가 공통되도록 넓은 시야를 사용합니다.

  • 프레임 간에 동일한 렌즈 광학을 유지하려면 비디오 안정화를 끕니다.

  • 느리고 일정한 동작으로 캡처합니다. 카메라를 계속 움직이고 단일 위치에서 중지하거나 이동하지 마세요.

샘플 리포지토리의 job_bundles 디렉터리에서 작업을 제출합니다.

deadline bundle gui-submit gsplat_pipeline

작업별 설정 탭에서 입력 비디오 파일과 출력 .ply 파일 모두에 대한 경로를 선택합니다.