字节跳动、北京大学、厦门大学和清华大学的研究人员推出新技术HumanSplat，它能够通过单张图片来预测任何人的3D高斯Splatting属性。简单来说，就是利用人工智能技术，从一张照片中重建出一个逼真的3D人体模型。这项技术的出现，不仅推动了计算机视觉领域的发展，也为3D内容的创建和展示提供了新的可能性。
- 项目主页：https://humansplat.github.io
例如，你有一张朋友的照片，想在电脑上生成一个3D版的他或她，可以360度无死角地观看。HumanSplat技术就能帮你实现这个愿望。它像一个高级的数字裁缝，用算法和数据来“缝制”一个3D版的人体模型。
主要功能：
- 从单张图片中重建出高保真的3D人体模型。
- 能够渲染出新视角的图像，即从不同角度观察3D模型。
主要特点：
- 通用性：适用于各种不同的场景和不同的人体姿态。
- 高效率：与传统的需要多视角图片或长时间优化的方法相比，HumanSplat能够快速生成3D模型。
- 高质量：生成的3D模型具有逼真的纹理和细节，尤其是在面部和手部等视觉敏感区域。
工作原理：
HumanSplat技术包含以下几个关键步骤：
- 2D多视角扩散模型：利用这个模型来预测和填充图片中看不见的部分，比如衣服的背面。
- 潜在重建变换器：结合了人体结构先验和生成的扩散潜在嵌入，通过交互来提高3D重建的质量。
- 语义引导目标：利用结构先验中的语义线索，提出目标来进一步促进细节区域（如面部和手部）的重建质量。
具体应用场景：
- 社交媒体：用户可以上传自己的照片，生成3D头像用于虚拟空间中的交互。
- 游戏和电影制作：快速生成逼真的3D角色模型，用于游戏或电影的动画制作。
- 电子商务：在线购物时，顾客可以看到服装在3D模型上的试穿效果。
- 远程协作：在虚拟会议室中，参与者可以通过3D模型进行更自然的交流。
0条评论