石溪大学、Meta和Flawless AI的研究人员推出新型框架TalkinNeRF，它能够从单目视频（即只有一个摄像头拍摄的视频）学习动态的神经辐射场（NeRF），以此来创建能够进行全身动作和说话的三维人物动画。简单来说，这项技术可以根据你提供的视频，生成一个能够模仿视频中人物动作和表情的虚拟三维人物。
- 项目主页：https://aggelinacha.github.io/TalkinNeRF
例如，你正在看一段视频，视频中的人在说话和做手势。现在，有了TalkinNeRF，你可以创建一个三维的“数字分身”，它不仅能够模仿视频中人物的动作，还能模仿其说话时的口型和表情。这就像给视频中的人物创建了一个可以动的三维克隆。
主要功能：
- 全身动作捕捉：从视频中学习人物的全身动作。
- 细致的表情和手势：捕捉并再现人物的面部表情和手部动作。
主要特点：
- 单目视频学习：只需要一个摄像头拍摄的视频即可学习人物动作。
- 多身份表示：能够同时训练多个不同的人物，提高模型的泛化能力。
- 高质量的动画生成：生成的动画具有细致的表情和手部动作。
工作原理：
TalkinNeRF首先使用一个参数化模型（比如SMPLX模型）来估计视频中人物的身体姿势、手部姿势和面部表情。然后，它将这些参数作为条件，来驱动一个神经网络生成对应的三维人物动作。为了捕捉手部的复杂动作，它还学习了一个额外的手部变形场。此外，它还学习了每个人的身份代码，这使得它能够同时训练多个人物，并在训练时考虑到他们之间的差异。
具体应用场景：
- 增强现实/虚拟现实：在AR/VR应用中创建逼真的虚拟角色。
- 视频游戏：生成具有复杂动作和表情的游戏角色。
- 虚拟会议：创建能够模仿真人动作和表情的虚拟会议参与者。
- 电影和娱乐：用于生成或增强电影和动画中的三维角色。
总的来说，TalkinNeRF是一个强大的工具，它利用最新的人工智能技术，让三维角色的创建和动画化变得更加简单快捷。
0条评论