南开大学和旷视科技的研究人员推出新技术LE3D（Lighting Every Darkness with 3DGS），它是用来快速训练和实时渲染高动态范围（HDR）视图合成的。例如，你用手机在夜晚或者光线复杂的地方拍照，通常照片可能会过暗或者颜色失真。使用LE3D技术，你可以实时地渲染出更加清晰和色彩准确的3D场景，甚至可以在拍摄后立即调整曝光和颜色，而不会损失图像质量。这对于需要快速出图的新闻摄影或者专业摄影来说非常有用。
- 项目主页：https://srameo.github.io/projects/le3d
- GitHub：https://github.com/Srameo/LE3D
主要功能：
- 从噪声原始图像中重建3D场景。
- 实现实时渲染，包括视图合成、HDR渲染、重新聚焦和色调映射变化。
主要特点：
- 快速训练： 与传统基于体积渲染的方法相比，LE3D的训练时间大幅减少到1%。
- 实时渲染： 渲染速度快了4000倍，能够达到每秒100帧（FPS）。
- 高动态范围（HDR）： 能够处理大范围亮度的场景，保留更多细节。
- 噪声抵抗： 即使在低光照环境下也能提供良好的结构和颜色表示。
工作原理：
- Cone Scatter Initialization（锥形散射初始化）： 增强了在低光环境中从运动结构（Structure from Motion, SfM）估计中恢复远景的能力。
- 颜色多层感知器（Color MLP）： 替代了传统的球谐函数（Spherical Harmonics, SH），以更好地表示RAW线性颜色空间。
- 深度失真和近远场正则化： 改善了场景结构的准确性，对下游任务如重新聚焦等有提升作用。
具体应用场景：
- HDR视图合成： 从一系列不同曝光的图像中合成HDR图像。
- 实时编辑和后期处理： 例如，实时改变白平衡、曝光或聚焦。
- 增强现实（AR）和虚拟现实（VR）： 提供高质量的3D场景渲染，用于沉浸式体验。
- 计算摄影： 将传统的2D HDR技术扩展到3D世界，实现实时重构和后期处理。
0条评论