，用于生成逼真的3D模型和UV贴图，这个过程通过一种称为“对象图像”（Object Images）的表示来实现。简单来说，就是将复杂的3D形状转换成64x64像素的2D图像，这样做的好处是可以利用现有的图像生成模型，比如扩散变换器（Diffusion Transformers），来直接生成3D形状。尽管这种方法在生成结构化几何形状方面存在挑战，但它仍然能够生成与现有最先进的3D生成模型相当的结果，并且在生成具有物理基础材料的3D模型方面具有天然的优势。未来的工作将探索如何解决生成水密网格的保证问题，以及如何利用这种规则表示来生成更高质量的结构化3D资产。
- 项目主页：https://omages.github.io
- GitHub：https://github.com/3dlg-hcvc/omages
例如，你是一名3D艺术家，需要为一部电影创建一个复杂的头盔模型。传统上，这可能需要花费大量时间来手工建模和贴图。但使用对象图像技术，你可以将这个头盔转换成一个64x64像素的图像，然后通过算法生成3D模型，这个过程不仅快速，而且可以保持模型的所有细节和材料特性。
主要功能和特点：
- 2D表示3D形状：通过将3D模型的表面几何、外观和贴图结构封装在一个小的2D图像中，解决了多边形网格的几何和语义不规则性问题。
- 保持几何和语义结构：与传统的3D表示方法不同，对象图像不仅保留了3D形状的几何结构，还保留了物理基础材料（PBR materials）和语义上有意义的贴图分解。
- 高效生成：使用图像生成模型，可以有效地生成具有纹理的3D网格。
工作原理：
- 对象图像：将3D形状的每个表面贴图（patch）映射到2D平面上，并将这些2D表示打包进一个固定大小的图像中。
- 扩散变换器：使用这种模型来学习对象图像的分布，并生成新的3D形状。
- 多通道图像：对象图像包含12个通道，包括位置信息和材料属性，如反照率、法线、金属度和粗糙度。
具体应用场景：
- 电影和娱乐：在需要创建高质量3D模型的电影和电子游戏行业中，这种方法可以提高生产效率。
- 制造业：在设计和原型制作过程中，快速生成3D模型可以加速产品开发。
- 机器人学：在需要理解复杂3D形状的场景中，如机器人抓取和操作物体。
0条评论