Snap推出新型三维重建方法GTR（Geometry and Texture Refinement），GTR旨在从多视角图像中生成高质量的3D网格模型，其特别关注于几何形状和纹理细节的精细化。例如，你是一名游戏开发者，需要将一些2D概念艺术转换为3D模型。使用GTR，你可以通过拍摄概念艺术的多角度照片，快速生成一个高质量的3D模型，并确保模型的纹理和几何细节都非常精细，从而大大减少手动建模的工作量。
- 项目主页：https://payeah.net/projects/GTR
论文还提到，尽管GTR在重建复杂纹理方面取得了显著进步，但在处理某些复杂纹理，如文字和肖像时，仍然存在挑战。为了解决这个问题，作者引入了一个轻量级的纹理细化过程，可以在短短4秒内完成对网格表面的纹理细节的微调，显著提高了PSNR（峰值信噪比）评分，并实现了对复杂纹理的忠实重建。此外，GTR方法还可以应用于各种下游应用，包括文本/图像到3D生成的任务。
主要功能：
- 从多视角图像中重建出精确的3D模型。
- 改善几何形状和纹理细节的重建质量。
主要特点：
- 混合方法： 结合了前馈模型（feed-forward model）和后处理细化步骤。
- 不同iable网格提取： 利用Differentiable Marching Cubes（DiffMC）技术从NeRF（Neural Radiance Field）场中提取网格。
- 纹理细化： 引入了一个轻量级的纹理细化过程，用于改善复杂纹理的重建。
工作原理：
- 架构改进： GTR首先对现有的大型重建模型（LRM）架构进行了几项重要修改，以改善多视角图像的表示和训练过程的计算效率。
- NeRF训练： 使用修改后的架构，通过体积渲染训练NeRF模型。
- 网格渲染细化： 利用DiffMC从NeRF密度场中提取网格，并通过网格渲染进行监督，以实现几何形状的精细化。
- 纹理细化过程： 在网格表面使用输入的多视角图像对三平面表示和NeRF的颜色估计模型进行微调，以增强纹理细节。
具体应用场景：
- 数字内容创建： 用于生成3D资产，如游戏、电影中的模型。
- 虚拟现实（VR）： 提供高质量的3D模型，用于虚拟现实环境中的交互体验。
- 文本/图像到3D生成： 利用预训练的文本到图像的扩散模型，从文本或图像快速生成3D模型。
0条评论