新加坡国立大学和华为的研究人员推出Vista3D框架，它的目标是从单一的2D图像中快速生成3D模型。这个技术可以帮助我们从一张照片中想象出物体的全貌，即使照片中只展示了物体的一部分。Vista3D通过两个阶段来实现这一目标：粗略阶段和精细阶段。
- GitHub：https://github.com/florinshen/Vista3D
例如，你是一名游戏设计师，需要为一款即将推出的游戏设计一个全新的角色。使用Vista3D，你可以从角色的概念艺术图中快速生成3D模型，然后对这个模型进行调整和优化，以适应游戏环境。这个过程不仅节省了传统3D建模所需的时间，还允许你通过文本提示来探索角色的不同外观和风格，从而创造出更加多样化和生动的游戏角色。
主要功能和特点：
- 快速生成：Vista3D能够在大约5分钟内从单张图像生成3D模型。
- 两阶段方法：首先使用高斯散射（Gaussian Splatting）快速生成初步的几何形状，然后在精细阶段通过优化Signed Distance Function（SDF）来提升模型的质量。
- 解耦表示：使用两个独立的隐函数来分别捕捉物体可见和不可见的部分，以提高生成的多样性和一致性。
- 扩散先验的融合：结合2D扩散先验和3D感知扩散先验，通过角度扩散先验合成来提升3D模型的一致性和多样性。
工作原理：
- 粗略阶段：利用3D高斯散射从单张图像中快速生成初步的几何形状和纹理。
- 精细阶段：将粗略的几何形状转换为SDF，并使用可微分的等值面技术（如FlexiCubes）进行优化，以生成更精细的3D网格。
- 扩散先验融合：通过控制两个扩散模型的梯度，使得在保持3D一致性的同时，能够探索出更多样的3D模型。
具体应用场景：
- 游戏和虚拟现实：在游戏和虚拟现实中创建丰富的环境和对象，而无需复杂的建模过程。
- 文物复原：从部分损坏的文物照片中重建其完整的3D模型，帮助研究和展示。
- 室内设计：从2D平面图快速生成3D室内布局，方便设计师和客户进行更直观的交流和修改。
0条评论