加州大学伯克利分校和上海科技大学的研究人员推出Splatfacto-W，它是一种用于从非约束性（即在野外拍摄的）照片集合中合成新视角图像的技术。这种方法特别适用于处理那些因光照变化、临时遮挡物或场景不一致性而难以准确重建的场景。例如，你有一组在不同时间（比如早晨、中午和晚上）拍摄的同一景点的照片。这些照片可能会因为光照条件的变化而呈现出不同的外观。传统的3D重建方法可能会在重建过程中遇到问题，比如无法正确处理光照变化或临时遮挡物。Splatfacto-W能够处理这些问题，生成一个一致且逼真的3D场景模型，你可以从任何角度查看这个场景，就像真的在那里一样。
- 项目主页：https://kevinxu02.github.io/splatfactow
- GitHub：https://github.com/KevinXu02/splatfacto-w
主要功能
- 新视角合成：从一组2D照片中合成出新的视角图像。
- 实时渲染：能够实时渲染出高质量的图像，使得用户可以即时探索场景。
- 外观变化处理：能够处理照片集中的外观变化，如不同的光照条件。
- 背景建模：准确表示天空和背景元素，提高多视角一致性。
主要特点
- 潜在外观建模：为每个高斯点分配外观特征，使其能够适应参考图像中的变化。
- 高效处理临时物体：通过一种基于启发式的方法在优化过程中遮罩临时物体，提高对一致场景特征的关注。
- 背景建模：使用球谐函数基础的背景模型，准确表示天空和背景元素。
工作原理
- 3D高斯点表示：使用显式的3D高斯点来表示场景，并利用可微分的光栅化器实现高效渲染。
- 外观特征和图像外观嵌入：将每个高斯点的颜色特征与图像的外观嵌入相结合，通过多层感知机（MLP）预测球谐系数。
- 鲁棒掩膜：在优化过程中，通过假设残差超过某个百分位的像素指示临时物体，从而创建掩膜来忽略这些像素。
- 背景模型：使用球谐函数基础的背景模型来表示背景，通过MLP预测背景的球谐系数。
具体应用场景
- 虚拟现实和增强现实：在这些应用中，用户可以探索虚拟环境或在现实世界中叠加虚拟元素。
- 自动驾驶导航：通过从不同角度合成图像，帮助自动驾驶系统更好地理解其环境。
- 电影和游戏制作：在制作电影特效或游戏场景时，可以用来生成逼真的3D场景。
- 考古和历史重建：利用现有的照片资料，重建历史遗迹或考古现场的3D模型。
论文还提到，他们的方法是在Nerfstudio中实现的，并且提供了代码和额外的视频结果，可以在他们的网站上查看。这表明Splatfacto-W不仅在理论上有效，而且在实际应用中也具有很高的实用价值。
0条评论