来自西蒙弗雷泽大学、不列颠哥伦比亚大学、多伦多大学和谷歌 DeepMind的研究人员推出3D场景重建和新视角合成方法3D Gaussian Splatting，这种方法因其高质量的结果和与硬件光栅化的兼容性而受到关注。然而，Gaussian Splatting对高质量的点云初始化（通过结构从运动，Structure-from-Motion，简称SFM算法）的依赖是一个需要克服的显著限制。为了解决这个问题，研究者们探索了不同的Gaussian Splatting初始化策略，并研究了如何利用基于神经辐射场（Neural Radiance Fields，简称NeRF）的体积重建来绕过对SFM数据的依赖。
主要功能：
- 3D场景重建：Gaussian Splatting能够从一组图像中重建出3D场景。
- 新视角合成：该方法可以用于从未见过的视角合成新图像。
主要特点：
- 高效计算：通过硬件加速的光栅化实现实时推理速度。
- 高质量的结果：与SFM算法相比，Gaussian Splatting能够生成细节丰富且逼真的3D场景表示。
- 对SFM初始化的依赖性：Gaussian Splatting需要从SFM算法中获得的点云进行初始化，这可能在某些应用场景中不切实际或计算成本过高。
工作原理：
- 点云初始化：传统上，Gaussian Splatting依赖于SFM算法生成的点云来进行初始化。
- 3D高斯原语：场景被表示为3D高斯原语的集合，每个原语与均值、协方差矩阵、不透明度和RGB球谐系数相关联。
- 光栅化：通过将高斯原野按深度顺序投影到图像空间并进行光栅化，可以得到每个射线的最终颜色。
具体应用场景：
假设你是一名电影制作人员，需要从一组拍摄的电影场景图像中重建3D场景，并从导演想要的新视角生成图像。使用Gaussian Splatting，你可以快速地从现有的图像中重建场景，并合成新视角的图像，而无需昂贵的现场拍摄。
在实验中，研究者们发现，通过改进的随机初始化和从低成本NeRF模型中提取的结构指导，可以匹配甚至超越使用SFM初始化的结果。这对于那些不需要SFM解决方案来估计相机姿态的应用领域具有重要意义，例如具有融合惯性/卫星导航的自动驾驶车辆，或者在SFM解决方案不可靠的情况下。此外，NeRF教师模型所需的训练时间非常短，大约只需30秒，这比大型SFM重建甚至Gaussian Splatting训练本身还要快。
0条评论