来自浙江大学的研究人员发布论文介绍了一个名为3DGStream的方法，它是一种用于实时流式传输真实感自由视角视频（Free-Viewpoint Videos, FVVs）的技术。这种方法特别适用于动态场景，比如人们在房间内移动或者物体在场景中变化的情况。3DGStream的目标是能够在不需要完整视频序列的离线训练的情况下，快速地重建每一帧，并实现实时渲染。
主要功能： 3DGStream的主要功能是能够快速地对动态场景的每一帧进行重建，并且能够实时渲染出高质量的自由视角视频。这意味着它可以在视频流式传输的同时，即时生成新的视角，而不需要等待整个过程完成。
主要特点：
- 实时渲染： 3DGStream能够在200帧每秒（FPS）的速度下进行实时渲染。
- 快速重建： 它能够在大约12秒内完成每一帧的重建。
- 存储效率： 该方法不需要存储每一帧的所有3D高斯（3DGs），而是只存储神经变换缓存（NTC）和额外的3DGs，大大减少了存储需求。
- 适应动态场景： 通过自适应的3DG添加策略，3DGStream能够处理场景中新出现的对象。
工作原理： 3DGStream的工作流程包括两个阶段。首先，它使用3D高斯来表示场景，并训练一个神经变换缓存（NTC）来模拟3DGs的平移和旋转。然后，它采用自适应的3DG添加策略来处理新出现的对象，通过在这些对象附近生成额外的3DGs并进行优化。在这两个阶段之后，使用NTC转换的3DGs和额外的3DGs来渲染当前时间步的视频帧。
具体应用场景： 3DGStream可以应用于虚拟现实（VR）、增强现实（AR）和扩展现实（XR）等领域，特别是在需要实时视图合成的应用中。例如，在游戏开发中，它可以用于创建动态环境的实时视图；在电影制作中，它可以帮助制作人员在拍摄过程中即时预览不同的摄像机角度；在远程协作或教育中，它可以用来提供参与者的实时3D视角。
0条评论