加州大学圣地亚哥分校、Hillbot 、 浙江大学和加州大学洛杉矶分校的研究人员推出新型3D重建模型MeshFormer，它能够通过少量的多视角RGB图像和它们的法线图作为输入，快速生成具有精细几何细节的高质量3D纹理网格。简单来说，MeshFormer就像一个高级的3D摄影师，能够用几张不同角度的照片，迅速复原出一个物体的三维模型，并且这个模型还带有逼真的纹理。
- 项目主页：https://meshformer3d.github.io
- Demo：https://huggingface.co/spaces/sudo-ai/MeshFormer
例如，我们要制作一个关于历史文物的3D模型，使用MeshFormer，我们只需要从不同角度拍摄文物的几张照片，然后上传到系统中，很快就能得到一个可以用于3D打印或虚拟现实展示的高质量3D模型。这大大简化了3D建模的流程，使得没有专业3D建模技能的人也能轻松创建3D内容。
主要功能：
- 从稀疏视图重建3D网格：MeshFormer可以处理不多于6张的多角度图片，并重建出3D网格。
- 细节增强：它不仅能够重建出大致形状，还能捕捉到物体的细小特征，比如皮肤的纹理、物体的划痕等。
主要特点：
- 高效率：MeshFormer重建3D网格的过程非常快速，只需几秒钟。
- 高质量：生成的3D网格具有精细的几何细节和逼真的纹理。
- 易于训练：与需要上百GPU训练的模型相比，MeshFormer只需8个GPU，训练效率高。
工作原理：
- MeshFormer采用3D稀疏体素来存储特征，而不是传统的平面表示方法。
- 结合了变换器（transformers）和3D卷积来利用明确的3D结构和投影偏差。
- 利用输入的法线图来指导和细化几何学习，这些法线图可以由2D扩散模型预测得到。
- 通过结合签名距离函数（SDF）监督和表面渲染，直接学习生成高质量网格，无需复杂的多阶段训练过程。
具体应用场景：
- 3D打印：快速生成的高质量3D网格可以直接用于3D打印。
- 虚拟现实和增强现实：为VR和AR应用创建逼真的3D对象。
- 游戏和电影特效：生成具有高度细节的3D模型，用于游戏或电影的特效制作。
- 教育和展览：在教育领域，可以快速创建复杂的3D模型用于教学展示。
0条评论