DGIST 和Meta的研究人员推出ExAvatar，它可以从一段简单的单眼视频创建出一个全身3D高表达性人类化身（3D avatar）。ExAvatar不仅能够模拟人体的运动，还能模拟面部表情和手部动作，这些都是人们表达情感和与世界互动的重要方式。例如，你录制了一段自己跳舞的视频，使用ExAvatar技术，可以从这段视频中创建出一个3D化身，这个化身不仅能够重现你的舞蹈动作，还能模拟你跳舞时的面部表情和手部动作，即使视频中的表情和动作并不丰富，ExAvatar也能通过其先进的算法模拟出各种新颖的表情和动作。这样的技术可以用于创建个性化的虚拟形象，用于社交媒体、游戏或其他互动媒体中。
主要功能：
- 全身动作模拟：ExAvatar可以重现人体的各种姿势和动作。
- 面部表情模拟：即使是视频中没有出现过的新颖面部表情，ExAvatar也能模拟。
- 手部动作模拟：ExAvatar能够模拟手部动作，这对于与各种对象的互动至关重要。
主要特点：
- 无需3D观察：与传统的3D化身技术不同，创建ExAvatar不需要3D扫描或深度图像（RGBD）这样的3D观察数据。
- 混合表示：ExAvatar结合了全身参数化网格模型（SMPL-X）和3D高斯溅射（3DGS），这种混合表示方法允许即使在视频中面部表情和姿势的多样性有限的情况下，也能模拟出新颖的面部表情和姿势。
- 减少伪影：利用基于连通性的信息，ExAvatar显著减少了在新姿势下出现的伪影。
工作原理：
- 参数化网格模型：ExAvatar使用SMPL-X模型来表示人体的3D几何结构，该模型可以根据参数化的姿势、面部表情代码和形状参数来变形。
- 3D高斯溅射：3DGS用于实现逼真和高效的渲染效果。
- 混合表示：ExAvatar将3D高斯视为具有预定义连通信息（例如，三角形面）的表面上的顶点，这些连通信息遵循SMPL-X的网格拓扑结构。
具体应用场景：
- 虚拟现实（VR）：在VR环境中，用户可以通过ExAvatar与虚拟角色进行更自然的交互。
- 增强现实（AR）：在AR应用中，ExAvatar可以用来创建与现实世界融合的虚拟角色。
- 电影和游戏：在电影制作和电子游戏中，ExAvatar可以用于快速生成逼真的3D角色动画。
- 远程交流：在远程会议或在线教育中，ExAvatar可以作为用户的虚拟形象，提供更丰富的非语言交流手段。
0条评论