上海科技大学的研究人员推出一种名为“Robust Dual Gaussian Splatting”的技术，用于创建沉浸式的、以人为中心的体积视频。这项技术可以让我们像在虚拟现实世界中一样，全方位地观看和体验数字化的人类表演。
- 项目主页：https://nowheretrix.github.io/DualGS
主要功能：
- 实时跟踪与渲染： 能够实时捕捉和渲染复杂人体动作，如音乐会上的表演。
- 高效压缩： 通过特殊的压缩方案，大幅减少数据存储需求，每帧仅需约350KB的存储空间。
- 沉浸式体验： 允许用户在虚拟现实(VR)头显中，以高保真度观看三维空间中的表演者。
主要特点：
- 双高斯表示： 将动作和外观分开表示，使用“皮肤高斯”和“关节高斯”来分别捕捉外观细节和全局动作。
- 粗到细的训练策略： 先进行整体动作的粗略对齐，再进行细致的优化，以提高跟踪的鲁棒性和渲染质量。
- 压缩比率高： 实现了高达120倍的压缩比率，使得大量数据能够高效存储和传输。
工作原理：
- 初始化： 在第一帧中初始化皮肤高斯和关节高斯，建立它们之间的关系。
- 粗略对齐： 通过优化关节高斯来预测整体动作，同时保持外观属性固定。
- 精细优化： 重新计算皮肤高斯的运动，并使用时间正则化来微调详细的位置和外观。
- 压缩： 利用残差向量量化、编解码压缩和持久性码本等技术，分别对动作和外观属性进行压缩。
具体应用场景：
- 虚拟音乐会： 用户可以在VR环境中观看音乐家的表演，感受音乐的节奏和表演者的动态。
- 在线教育和培训： 通过这种技术，可以创建逼真的虚拟教练或教师，提供沉浸式的学习体验。
- 游戏和娱乐： 在游戏中，可以利用这种技术来渲染真实感强的角色动作，提升游戏体验。
总的来说，这项技术通过将人体动作和外观的捕捉与渲染分离，提高了渲染的效率和质量，同时通过高效的压缩技术，使得高保真的体积视频可以在各种设备上流畅播放，为虚拟现实和增强现实应用提供了新的可能性。
0条评论