Captions Research、Meta Reality Labs和石溪大学的研究人员推出新技术Bridging the Gap，它能够将用手机单目拍摄的低分辨率纹理图转换为具有工作室级光照效果的高分辨率纹理图，进而用于创建高质量的3D头像。例如，你想在虚拟现实游戏中创建一个与自己相似的角色。使用这项技术，你只需用手机拍摄自己的照片，系统就能自动生成一个具有工作室级光照效果的高分辨率纹理图，然后这个纹理图可以用来创建一个逼真的3D头像，用于游戏中。这个头像不仅面部细节丰富，而且在不同光照条件下都能保持一致的真实感。
- 项目主页：https://shahrukhathar.github.io/2024/07/22/Bridging.html
主要功能：
- 从手机单目拍摄的图像中提取纹理图。
- 生成具有精确面部细节、工作室级光照和填补缺失区域的高分辨率纹理图。
- 利用这些纹理图创建高质量的、逼真的3D头像。
主要特点：
- 高真实感：生成的头像具有逼真的面部细节和光照效果。
- 高分辨率：通过超分辨率技术提升纹理图的清晰度。
- 光照一致性：确保头像在不同视角下的光照效果统一。
- 缺失区域填补：自动填补拍摄时不可见的区域，如耳朵后面。
工作原理：
- 纹理提取：首先从手机拍摄的图像中提取纹理图。
- 参数化：使用StyleGAN2的W+空间对手机提取的纹理图进行参数化，实现近乎完美的重建。
- 微调StyleGAN2：通过在W+参数化空间中采样，并使用少量工作室拍摄的纹理作为对抗训练信号，对StyleGAN2进行微调。
- 细节增强：使用设计好的扩散模型，根据手机捕获的纹理图的图像梯度，超分辨率增强面部细节。
具体应用场景：
- 虚拟现实（VR）和增强现实（AR）：为用户在虚拟环境中创建逼真的3D头像。
- 社交媒体和娱乐：用户可以创建自己的3D形象用于游戏、电影或其他互动体验。
- 教育和培训：在需要模拟真实人物的情境下，如历史人物重现或医学训练。
0条评论