苏黎世联邦理工学院、布拉格 CTU的研究人员推出WildGaussians，它用于在各种环境条件下进行高质量的3D场景重建。这项技术特别擅长处理那些在野外捕获的数据，比如存在遮挡、动态物体和不同光照条件的场景。例如，你手上有一堆在不同时间、不同光照条件下拍摄的某个地标的照片，比如布拉格的查理大桥或者罗马的特雷维喷泉。现在，你想让这些照片在电脑上变成一个3D模型，而且这个模型要足够真实，能够从任何角度观看。但是，由于照片拍摄条件的差异，比如白天和夜晚的光照不同，或者有行人和其他移动物体遮挡了部分场景，这使得3D重建变得非常困难。WildGaussians就是用来解决这个问题的技术，它能够把这些复杂条件下的照片转换成一个逼真的3D场景模型。
- 项目主页：https://wild-gaussians.github.io
- GitHub：https://github.com/jkulhanek/wild-gaussians
主要功能：
- 处理存在遮挡和光照变化的3D场景重建。
- 实时渲染高质量的3D场景。
主要特点：
- 外观建模：通过训练每个训练图像的嵌入向量来处理不同条件下的图像外观变化。
- 不确定性建模：使用基于DINO特征的不确定性预测来处理遮挡，即使在外观变化的情况下也能保持鲁棒性。
- 实时渲染：与3DGS（3D Gaussian Splatting）相似，WildGaussians能够实现实时渲染，同时保持与NeRF（Neural Radiance Fields）相似的渲染质量。
工作原理：
- 3D高斯溅射（3DGS）：WildGaussians基于3DGS，将场景表示为一组3D高斯分布，通过光栅化实现实时渲染。
- 外观建模：使用可训练的嵌入向量和多层感知器（MLP）来预测颜色的仿射变换，使渲染图像能够根据特定输入图像的嵌入进行条件化。
- 不确定性建模：通过学习一个不确定性模型来确定训练图像中哪些区域应该被忽略，使用DINO特征的余弦相似性来创建不确定性掩模。
具体应用场景：
- 虚拟现实（VR）体验：为VR应用创建沉浸式的3D环境。
- 3D内容创作：为在线平台、游戏和电影制作3D内容。
- 3D环境模拟：为机器人等自动化系统提供3D环境模拟，用于路径规划和导航。
总的来说，WildGaussians是一个强大的工具，它可以从在野外捕获的图像中创建高质量的3D场景，即使在存在遮挡和光照变化等复杂条件下也能保持逼真的渲染效果。
0条评论