上海交通大学、香港中文大学、浙江大学、上海人工智能实验室、斯坦福大学和南洋理工大学的研究人员推出LayerPano3D，这是一种从单一文本提示生成全视角可探索全景三维场景的新型框架。我们的核心见解是将参考二维全景图分解为不同深度级别的多个图层，每个图层通过扩散先验揭示参考视图中看不见的空间。LayerPano3D 包含多种专门的设计：1) 我们引入了一种新颖的文本引导锚视图合成管道，用于生成高质量、一致性的全景图。2) 我们首次采用了分层三维全景图作为底层表示来管理复杂的场景层次结构，并将其转换为三维高斯分布，以生成细节丰富的360度全方位场景，且不受观看路径的约束。广泛的实验表明，我们的框架在全方位视角一致性和沉浸式探索体验方面达到了最先进的性能水平。
- 项目主页：https://ys-imtech.github.io/projects/LayerPano3D
- GitHub：https://github.com/YS-IMTech/LayerPano3D
主要功能：
- 从单一文本提示生成全视图、可探索的3D全景场景。
主要特点：
- 多层3D全景表示（Layered 3D Panorama）：通过将2D全景图分解为多个不同深度层次的层，每一层都揭示了参考视图中未见的空间。
- 文本引导的锚视图合成：确保生成的全景图具有高质量和一致性。
- 3D高斯优化：将多层全景提升为3D高斯模型，允许在3D空间中自由探索。
工作原理：
- 文本引导的锚视图合成：首先生成四个正交的锚视图，为全景图提供基础的几何结构和视觉外观。
- 等矩形全景合成：使用等矩形投影方法将3D球面映射到2D平面上，生成360度全景图。
- 多层全景构建：通过识别场景资产并按深度聚类，构建多层3D全景。
- 全景3D高斯场景优化：将全景图转换为3D点云，并初始化3D高斯模型，进行场景细化。
具体应用场景：
- 虚拟现实（VR）和增强现实（AR）：为这些系统提供超沉浸式的3D环境。
- 游戏开发：快速生成游戏世界的场景，提高开发效率。
- 电影和动画制作：用于创建复杂的3D背景和环境。
- 教育和训练模拟：构建真实的3D学习环境或模拟训练场景。
0条评论