字节跳动和上海科技大学的研究人员推出HeadGAP，它可以从极少的图像（甚至是单张图像）创建出逼真且可动的3D头部头像。想象一下，如果你只有一张自己的照片，HeadGAP能够用它来生成一个看起来非常像你，并且可以做出各种表情的3D头像。例如，一个用户想要在虚拟现实世界中拥有一个代表自己的3D头像，他只需要提供一张或几张自己的照片给HeadGAP系统，系统就能快速生成一个可以表现多种表情和动作的3D头像。这个头像可以用于在线会议、社交媒体或者任何需要个性化虚拟形象的场合。
- 项目主页：https://headgap.github.io
主要功能：
- 从少量输入图像生成高质量的3D动画头像。
- 保持头像的逼真度和动画的稳定性。
主要特点：
- 高保真度：生成的3D头像具有照片级的逼真度。
- 可动性：头像可以进行多种表情和动作的动画制作。
- 泛化能力：利用从大规模数据中学习到的先验知识，可以适应新的身份特征。
工作原理：
- 先验学习阶段：首先使用大规模多视角动态数据集学习3D头部的先验知识，这些知识被嵌入到GAPNet（Gaussian Prior Network）中。
- 头像创建阶段：然后利用这些先验知识，通过反演和微调策略，快速创建新身份的3D头像。
HeadGAP使用基于高斯散射（3D Gaussian Splatting）的自解码器网络，结合部分动态建模，有效地捕捉先验知识。它采用身份共享编码和个性化潜在代码来学习高斯原语的属性。
具体应用场景：
- 电影和游戏：在电影制作或电子游戏中，可以快速为角色创建逼真的3D头像。
- 增强现实/虚拟现实：在AR/VR应用中，用户可以生成自己的3D头像，用于虚拟空间中的交互。
- 元宇宙：在构建元宇宙身份时，用户可以拥有一个高度个性化且可动的3D头像。
0条评论