View a markdown version of this page

在 Deadline Cloud 上使用视频训练 3D 高斯飞溅 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 Deadline Cloud 上使用视频训练 3D 高斯飞溅

GitHub 网站上的 gsplat_pipeline 任务包运行三维高斯喷射管道。该包将视频文件作为输入，并生成一个高斯喷射文件作为输出.ply。下载输出后，你可以在任何 Gaussian Splatting 查看器中查看，例如SuperSplat在网站上。 GitHub

该管道运行一项任务，该任务执行以下步骤：

  1. 在 FFmpeg 网站上使用 FFmpeg 提取视频帧。

  2. Structure-from-Motion 使用 COLMAP 网站上的 COLMAP 和网站上的 GLOMAP 进行求解，从而保存针孔模型和未失真的图像。 GitHub

  3. 使用三种训练器之一训练 Gaussian Splatting：Nerfstudio 网站上的 nerF Studio splat facto、Nerfstudio 网站上的 Splatfacto in the Wild 或 gsplat 网站上的 simple_trainer.py gsplat 库示例。https://docs.gsplat.studio/main/examples/colmap.html输出将保存到您指定的.ply文件中。

要运行此捆绑包，请在 GitHub 网站上部署 CUDA 农场 CloudFormation 模板，使用 CUDA GPU 队列创建截止日期云农场。然后在网站上构建 nerF Studio conda 软件包 GitHub 并将其发布到你的 S3 conda 频道。

如果你只需要默认NERFSTUDIO（splatfacto）训练器，则不需要 CUDA 农场模板或自定义 nerF Studio conda 软件包。最低要求是具有GPU队列的截止日期云农场, 包括的队列环境conda-forge, 以及以下conda软件包:ffmpeg colmap glomap nerfstudio cuda.

要拍摄有用的视频，请遵循以下提示：

  • 使用较宽的视野，这样图像对之间有更多对象 Structure-from-Motion 可供使用。

  • 关闭视频防抖功能以保持帧间相同的镜头光学效果。

  • 用慢而稳定的动作拍摄。继续移动摄像机，避免在单个位置停下来平移。

从示例存储库的job_bundles目录中提交作业：

deadline bundle gui-submit gsplat_pipeline

在Job-specific 设置选项卡上，选择输入视频文件和输出.ply文件的路径。

有关包括捕获视频、提交和监控作业以及查看训练结果的完整演练，请参阅用你自己的视频训练 3D 高斯飞溅。