华盛顿大学、康奈尔大学、 Google Research和加州大学伯克利分校的研究人员推出ExtraNeRF，它用于扩展神经辐射场（Neural Radiance Fields, NeRF）的视图范围，特别是当只有少数输入视图可用时。NeRF是一种能够从一组图像重建场景并从新视点渲染场景的深度学习模型，但传统的NeRF在进行视图外推（extrapolation）时表现不佳，特别是当输入视图稀疏或有限时。
- 项目主页：https://shihmengli.github.io/extranerf-website/
例如，你是一名电影视觉效果师，需要从一组有限的实景照片创建一个3D城市场景。使用ExtraNeRF，你可以从这些照片中生成新的视图，甚至填补照片中未显示的区域，比如建筑物的背面或被其他物体遮挡的部分，从而得到一个完整的3D城市模型。这大大减少了现场拍摄的需求，提高了制作效率。
主要功能：
- 从有限的输入视图扩展NeRF的视图范围。
- 合成在输入视图之外的区域的清晰内容。
主要特点：
- 视图外推能力： 能够在仅有几个输入视图的情况下，生成场景的新视图。
- 高清晰度： 使用扩散模型（diffusion models）来增强细节并提高图像清晰度。
- 视图一致性： 通过多阶段处理，确保生成的视图与现有场景内容一致。
工作原理：
- 基础NeRF训练： 首先，使用一组稀疏的输入图像训练一个基础NeRF模型。
- 扩散引导的修复（Inpainting）： 利用扩散模型来预测未观察到的区域，并迭代优化NeRF，填补这些区域。
- 扩散引导的增强： 对于通过扩散模型生成的图像，使用另一个专门训练的扩散模型来增强细节，提高清晰度和颜色一致性。
具体应用场景：
- 虚拟现实和增强现实： 在VR和AR中，ExtraNeRF可以用于从有限的视图生成更加丰富的3D场景。
- 3D内容创建： 对于需要从少量图像重建3D模型的应用，ExtraNeRF可以提供更高质量的视图合成。
- 电影和游戏制作： 在这些领域中，ExtraNeRF可以帮助艺术家从现有视图生成新的视角，扩展场景的视觉叙事。
0条评论