Adobe 研究 、石溪大学和基尔大学的研究人员推出大型3D重建模型LRM-Zero，它完全使用合成的3D数据进行训练，以实现高质量的稀疏视图3D重建。LRM-Zero的核心是名为Zeroverse的过程化3D数据集，这个数据集通过简单的基本形状、随机纹理和增强（例如高度场、布尔差分和线框）自动合成。LRM-Zero的局限性，如合成数据缺乏语义信息可能影响模型学习某些任务的能力，以及在处理大规模数据集时的可扩展性问题。此外，论文提供了Zeroverse数据合成代码和交互式可视化，以促进未来研究。
- 项目主页：https://desaixie.github.io/lrm-zero/
- GitHub：https://github.com/desaixie/zeroverse
例如，我们想要创建一个3D模型，但现实中捕捉或创建3D数据既昂贵又耗时。LRM-Zero通过使用Zeroverse数据集，可以自动合成各种各样的3D形状，就像用乐高积木一样，我们可以随机组合基本的形状（如立方体、球体、圆柱体等），给它们添加纹理，并通过一些变化（比如高度变化或布尔运算）来增加复杂性。这样，即使没有实际的3D扫描数据，我们也能训练出一个能够重建出真实世界物体的模型。
主要功能：
- 使用合成数据进行3D重建，避免了获取实际3D数据的困难。
- 生成与真实世界物体竞争的视觉质量的3D重建。
主要特点：
- 过程化数据集Zeroverse：完全忽略现实世界物体的全局语义，专注于局部的几何和纹理细节。
- 高质量的重建：即使使用合成数据，也能生成高质量的3D重建结果。
- 训练稳定性：分析了影响模型训练稳定性的关键设计选择。
工作原理：
LRM-Zero使用一个名为GS-LRM的网络架构，该架构基于纯Transformer方法，允许可扩展的训练。它首先将多视图图像分割成特征，然后将这些特征输入到自注意力Transformer中。Transformer的输出直接解释为高斯Splatting参数，这些参数作为输出3D对象的表示，可以通过渲染用于训练损失或交互式查看。
具体应用场景：
- 3D视觉任务：在3D视觉领域，如物体识别、场景重建等任务中，LRM-Zero可以作为一个基础模型来使用。
- 数据稀缺问题：在难以获取实际3D数据的情况下，LRM-Zero提供了一种替代方案，使用合成数据进行训练。
- 教育和研究：在教育和研究环境中，LRM-Zero可以作为教授3D建模和重建技术的工具。
0条评论