赜深科技、上海科技大学和鲁汶天主教大学的研究人员推出新技术V3，它能够将体积视频（即三维视频）流式传输到移动设备上进行高质量渲染。简单来说，V3技术使用一种称为2D动态高斯（2D Dynamic Gaussians）的方法，将复杂的三维视频数据压缩成可以在移动设备上流畅播放的二维视频流。
- 项目主页：https://authoritywang.github.io/v3
主要功能：
- 体积视频流式传输：将体积视频压缩成2D视频流，以便在移动设备上进行传输和播放。
- 高质量渲染：确保在移动设备上渲染的体积视频能够保持高质量的视觉效果。
主要特点：
- 2D动态高斯表示：通过将3D高斯属性编码为2D视频流，利用硬件视频编解码器进行有效压缩和传输。
- 快速训练策略：采用两阶段训练策略，先通过哈希编码和浅层MLP学习运动，然后通过残差熵损失和时间损失优化其他高斯属性，以提高时间连续性。
- 跨平台播放：设计了多平台播放器，支持在不同设备上实时播放和流式传输体积视频。
工作原理：
- 2D网格高斯表示：将动态3D高斯序列视为2D视频，每个视频帧对应于3D高斯的特定属性。
- 两阶段训练策略：
- 第一阶段：使用哈希编码和浅层MLP学习运动，通过剪枝减少高斯数量，满足流式传输要求。
- 第二阶段：使用残差熵损失和时间损失微调其他高斯属性，提高时间连续性。
- 渲染过程：在渲染时，从2D平面中提取3D高斯属性（例如旋转、缩放、位置、不透明度、颜色和球谐系数），并使用预训练的MEL-VAE解码器和HiFi-GAN重建音乐。
具体应用场景：
- 移动设备上的体积视频观看：用户可以在移动设备上观看高质量的体积视频，例如体育赛事、音乐会或电影的三维视角。
- 实时分享：用户可以实时分享他们正在观看的体积视频片段，提供更丰富的社交体验。
- 教育和培训：在教育领域，可以通过体积视频为学生提供更直观的学习材料，如三维的历史场景重现。
总的来说，V3技术通过将复杂的三维视频数据转换为二维视频流，使得在移动设备上观看和分享体积视频成为可能，为用户提供了一种全新的视觉体验。
0条评论