卡内基梅隆大学和特拉维夫大学的研究人员推出一个用于逆向渲染的技术MaterialFusion，能够从一组给定的物体图像中恢复物体的几何形状、表面反射特性（BRDF）和环境光照。简而言之，MaterialFusion能够从一个物体在不同角度拍摄的多张图片中，推断出物体的三维形状、材质和光照条件。例如，你是一名电影视觉特效师，需要创建一个场景，其中包含一个在复杂光照条件下的金属物体。使用MaterialFusion，你可以通过提供物体在不同角度的图像来重建其三维模型，并分析其材质特性。然后，你可以在电影所需的特定光照条件下重新渲染该物体，以确保它在屏幕上看起来尽可能真实。
- 项目主页：https://yehonathanlitman.github.io/material_fusion
- GitHub：https://github.com/yehonathanlitman/MaterialFusion
主要功能：
- 三维重建：从多视角图像中重建物体的三维几何结构。
- 材质和光照分析：分析和恢复物体表面的材质特性和拍摄时的环境光照。
- 新光照条件下的渲染：使用恢复的三维信息在新的光照条件下重新渲染物体，以验证重建的准确性。
主要特点：
- 2D材质扩散先验：使用一个经过训练的二维扩散模型（StableMaterial），该模型能够根据输入的图像估计最可能的反照率（albedo）和材质。
- 优化的逆向渲染流程：结合了分数蒸馏采样（Score Distillation Sampling, SDS），用于指导反照率和材质的优化，提高在新光照条件下重新照明的性能。
- ** BlenderVault 数据集**：研究者们创建了一个新的数据集，包含大约12K个高质量的合成Blender对象，用于训练和验证MaterialFusion。
工作原理：
- 训练2D扩散模型：使用大量的合成Blender对象渲染图像来训练一个2D扩散模型，使其能够预测图像的反照率和ORM（包括粗糙度和金属度）。
- 逆向渲染框架：将训练好的2D模型整合到逆向渲染框架中，利用SDS来优化3D重建的反照率和材质。
- 重建和重新渲染：给定一组物体的图像，MaterialFusion能够重建物体的三维几何形状、材质和光照，并在新的光照条件下重新渲染物体。
具体应用场景：
- 电影和游戏：在电影制作和游戏开发中，MaterialFusion可以用来创建逼真的三维场景和物体，提高视觉效果。
- 虚拟现实（VR）和增强现实（AR）：在VR或AR应用中，MaterialFusion能够提供更加真实的三维物体和环境，提升用户体验。
- 产品可视化：对于在线零售商来说，MaterialFusion可以用于生成产品在不同光照条件下的逼真图像，帮助消费者更好地了解产品。
0条评论