来自清华大学人工智能产业研究院、伦敦帝国理工学院、北京航空航天大学、北京理工大学、中国科学院大学、 香港中文大学（深圳）、中国电信人工智能研究院（TeleAI）EVOL实验室的研究人员推出新的3D场景表示方法SUNDAE，它通过一种称为“光谱剪枝”的技术来优化和压缩3D高斯溅射（3D Gaussian Splatting，简称3DGS）模型，同时使用神经网络补偿来保持渲染质量。
例如，你有一张非常详细的3D场景图片，这张图片是由许多小点（称为高斯原语）组成的，每个小点都有自己的位置、颜色和形状。为了在电脑或手机上快速显示这张图片，我们需要一种方法来减少这些小点的数量，同时保持图片看起来仍然很真实。SUNDAE就是这样一种方法，它通过智能地选择哪些小点是重要的，哪些可以去掉，并且用一种特殊的神经网络来补充被去掉的小点，以确保图片看起来仍然很好。
主要功能：
- 内存效率：SUNDAE通过减少3D高斯原语的数量来降低内存使用，同时保持高质量的渲染效果。
- 快速渲染：通过减少需要处理的数据量，SUNDAE能够以更高的帧率（FPS）渲染3D场景。
- 神经补偿：使用轻量级神经网络来补偿因剪枝而可能损失的细节，以维持渲染质量。
主要特点：
- 光谱剪枝：利用图信号处理理论，通过分析3D高斯原语之间的关系来剪除不重要的原语。
- 特征溅射和混合：在2D域中混合不同原语的特征，以补偿剪枝带来的性能下降。
- 低内存占用：与原始的3DGS相比，SUNDAE在保持渲染速度和质量的同时，显著降低了内存占用。
工作原理：
- 3D高斯溅射预热：使用3DGS作为初始步骤，通过高斯原语生成场景的密集表示。
- 光谱图剪枝：构建一个基于高斯原语的图，利用图信号处理理论来剪除冗余的高斯原语。
- 神经补偿：使用一个轻量级的神经网络来补偿剪枝后的渲染质量损失，通过特征溅射和混合来恢复图像质量。
- 连续剪枝策略：作为一种备选策略，通过在训练过程中定期移除一定数量或百分比的原语来控制最大原语数量，从而降低训练期间的峰值内存需求。
具体应用场景：
- 虚拟现实（VR）和增强现实（AR）：SUNDAE可以用于这些应用中，以提供高质量的3D场景渲染，同时减少移动设备或边缘计算平台上的内存和计算需求。
- 3D编辑和数字孪生：在需要对3D场景进行快速编辑和渲染的场景中，SUNDAE可以提高效率并降低资源消耗。
- 实时渲染：在游戏或电影制作中，SUNDAE可以帮助实现实时渲染，同时保持图像的高保真度。
0条评论