加拿大阿尔伯塔大学、加拿大多伦多大学和华为诺亚方舟实验室的研究人员推出新技术TexGen，它是一种用于3D纹理生成的系统，能够根据文本描述自动创建出相应的3D纹理。想象一下，如果你是一名游戏设计师或者电影特效师，想要给一个3D模型穿上“衣服”，但不想手动一点点去画，TexGen就能帮你实现这个愿望。
- 项目主页：https://dong-huo.github.io/TexGen
例如，你有一个3D模型的头盔，你想要给它设计一个“赛博朋克”风格的纹理。你只需要给TexGen输入类似于“赛博朋克风格的纹理”这样的文本描述，它就能生成一个具有未来感和高科技感的纹理，覆盖在你的3D模型上。这样，你的头盔模型就瞬间变得与众不同，充满了赛博朋克的气息。
主要功能：
- 文本引导的3D纹理合成：用户只需要提供一段描述性的文本，TexGen就能理解这段文本，并生成与文本描述相匹配的3D纹理。
主要特点：
- 多视角采样与重采样：系统可以从不同的角度观察3D模型，并生成一致的纹理，避免了接缝和过度平滑的问题。
- 预训练的文本到图像扩散模型：TexGen利用了一个预训练的模型，这个模型能够将文本转换成图像，为3D纹理生成提供强有力的视觉信息支持。
- 细节保留：通过特定的噪声重采样技术，TexGen能够在生成纹理时保留丰富的细节。
工作原理：
- 纹理映射：首先，系统会在RGB空间中创建一个纹理映射，并在每次采样步骤后更新它，以逐步减少视角间的差异。
- 多视角采样：系统采用注意力引导的多视角采样策略，将外观信息跨视角传播。
- 噪声重采样技术：开发了一种技术，帮助估计噪声，生成后续去噪步骤的输入，同时受文本提示和当前纹理映射的指导。
具体应用场景：
- 电影和游戏制作：在这些领域中，高质量的3D纹理对于提升视觉效果至关重要。TexGen可以帮助设计师快速生成所需的纹理，提高工作效率。
- 增强现实/虚拟现实(AR/VR)：在AR/VR应用中，真实感的3D纹理可以提升用户的沉浸感。
- 3D打印：在3D打印模型的纹理设计上，TexGen可以提供快速的设计原型制作。
0条评论