浙江大学、香港大学、腾讯游戏和德克萨斯农工大学的研究人员推出DreamMat，它是一种用于生成高质量PBR（基于物理的渲染）材质的系统。简单来说，DreamMat可以根据文本描述和未贴图的3D模型，生成逼真的材质效果，这些效果可以用于现代图形引擎中，实现照片级的渲染效果。
- 项目主页：https://zzzyuqing.github.io/dreammat.github.io
- GitHub：https://github.com/zzzyuqing/DreamMat
主要功能：
- 文本引导的材质生成：用户可以输入文本描述，比如“一个红色的苹果”，DreamMat会据此生成相应的材质。
- 高质量PBR材质：系统生成的材质包括漫反射（albedo）、粗糙度（roughness）和金属度（metallic），这些是现代3D渲染中用于模拟真实世界材质的关键属性。
主要特点：
- 几何和光照感知：DreamMat不仅考虑了3D模型的形状，还考虑了光照条件，这使得生成的材质在不同的光照环境下都能保持逼真效果。
- 扩散模型：利用了一种特殊的扩散模型来生成与给定几何和光照条件一致的图像。
- 材质分解：能够将输入的文本描述正确地分解成材质参数，避免了将光照效果错误地包含在漫反射中。
工作原理：
- 材质表示：使用基于hash-grid的表示方法来存储SVBRDF（空间变化的双向反射分布函数）参数。
- 渲染方程：根据物理上的渲染方程，使用蒙特卡洛采样策略来渲染给定网格的图像。
- 扩散模型训练：通过微调一个光照感知的2D扩散模型，使其能够在特定的光照条件下生成着色结果。
- 材质蒸馏：通过添加噪声并使用扩散模型去噪图像，产生一个蒸馏损失来学习材质表示中的参数。
- 几何和光照感知：通过训练一个同时考虑几何和光照条件的扩散模型，确保生成的图像与给定的环境光一致。
具体应用场景：
- 游戏开发：在游戏设计中，DreamMat可以快速生成逼真的材质，提高游戏场景的真实感。
- 电影和动画制作：在影视制作中，可以用来生成复杂的材质效果，减少实际拍摄的成本和时间。
- 虚拟现实(VR)和增强现实(AR)：在VR或AR应用中，逼真的材质可以提升用户体验。
- 3D建模和设计：帮助设计师和艺术家快速实验不同的材质效果，加速创作过程。
总的来说，DreamMat是一个强大的工具，它可以从简单的文本描述中生成高质量的3D材质，极大地简化了3D内容的创作过程，并为各种视觉效果的实现提供了可能。
0条评论