南洋理工大学S-Lab、上海人工智能实验室、复旦大学、北京大学、 中国科学院大学、商汤科技、 Stepfun和 西湖大学的研究人员推出新型3D网格生成模型MeshAnything，这个模型的特别之处在于，它能够将任何形式的3D表示（比如图像、点云、体素等）转换成由人类艺术家创造的网格（Artist-Created Meshes，简称AMs），这些网格在3D行业中应用广泛，因为它们具有更优的拓扑结构和更少的面数，从而提高了存储、渲染和模拟的效率。
- 项目主页：https://buaacyw.github.io/mesh-anything
- GitHub：https://github.com/buaacyw/MeshAnything
- Demo：https://huggingface.co/spaces/Yiwen-ntu/MeshAnything
例如，你是一名游戏开发者，需要为新游戏设计一系列复杂的角色和环境。使用MeshAnything，你可以上传角色的概念图和环境的草图，模型将自动生成所需的3D网格，这些网格不仅形状精确，而且优化了面数，使得渲染更加高效，大大缩短了开发周期。
主要功能：
- 将3D资产转换成更符合3D行业标准的艺术家创造网格。
- 通过自回归变换器（autoregressive transformers）生成与指定形状一致的网格。
主要特点：
- 使用变分量化自编码器（VQ-VAE）学习网格词汇表，然后在这个词汇表上训练形状条件解码器。
- 能够生成具有更少面数和更精细拓扑结构的网格，同时保持与以前方法相当的精度。
- 开发了一种新颖的抗噪声解码器，以增强网格生成的质量。
工作原理：
- 数据准备：从Objaverse和ShapeNet等数据集中筛选出高质量的AMs。
- 形状编码：将3D形状信息编码为点云，以作为生成网格的条件。
- VQ-VAE训练：使用VQ-VAE学习网格的词汇表，并将网格分解为一系列的三角形面。
- 自回归变换器训练：在这个词汇表的基础上，训练一个解码器，使其能够根据点云条件生成网格。
- 抗噪声解码：通过在训练过程中引入噪声，提高解码器对不完美输入序列的鲁棒性。
具体应用场景：
- 3D游戏开发：快速生成具有精细拓扑结构的游戏角色和环境网格。
- 电影和动画制作：生成高质量的3D模型，用于特效和场景构建。
- 虚拟现实（VR）和增强现实（AR）：创建具有高效渲染性能的3D对象。
- 3D打印：将设计概念快速转换为可打印的3D模型。
总结来说，MeshAnything是一个强大的工具，它通过先进的深度学习技术，使得3D资产的生成更加高效和自动化，为3D行业带来了创新的可能。
0条评论