英伟达神经纹理压缩技术：将 显存使用量减少高达 95%

随着现代游戏和图形应用对显存需求的不断增长，显存的限制逐渐成为开发者和玩家关注的焦点。为了解决这一问题，英伟达推出了一项基于人工智能的创新技术——神经纹理压缩（Neural Texture Compression, NTC），这项技术能够在显著减少显存使用的同时，保持高质量的渲染效果。

NTC 的工作原理

NTC 利用专门设计的神经网络动态压缩和解压缩材质纹理，从而在渲染过程中优化内存使用。根据英伟达的官方演示，NTC 提供了三种不同的渲染模式：

1. 参考材质（无压缩）：在这种模式下，纹理保持其原始状态，因此需要较高的磁盘空间和显存 使用率。
2. NTC 转码为 BCn（块压缩格式）：纹理在加载时被转码为传统的块压缩格式（BCn），虽然能显著减少磁盘占用空间，但对 显存 的节省较为有限。
3. 样本推理（Sample Inference）：这种方法仅在渲染期间需要时解压缩纹理元素，从而实现最大化的磁盘空间和显存 节省。

测试结果：显著的显存节省

YouTube 频道 Compusemble 对 NTC 技术进行了测试，并展示了其在不同分辨率下的性能表现：

1440p 分辨率 + DLSS：

• • 在 NTC 转码为 BCn 模式下，纹理内存使用量从 272MB 减少到 98MB，节省了 64%。
  • 在 NTC 样本推理模式下，纹理内存使用量进一步减少至 11.37MB，与非神经压缩相比减少了 95.8%。

这些数据显示，NTC 技术能够显著降低显存 和磁盘空间的需求，尤其是在样本推理模式下，效果尤为明显。

性能影响

尽管 NTC 显著减少了 显存 使用量，但它也可能对帧率产生一定影响。具体来说：

• 在 GeForce RTX 4090 上运行时，DLSS 和高分辨率设置增加了 Tensor Core 的负载，导致部分性能下降。
• 不过，英伟达表示，随着硬件和软件的进一步优化，这种性能差异可能会逐渐缩小甚至忽略不计。

NTC 的潜在应用场景

NTC 技术的引入不仅有助于解决显存 限制问题，还可能带来以下优势：

1. 提高游戏兼容性：对于 显存较小的显卡，NTC 可以让玩家运行更高画质的游戏，而无需担心内存不足的问题。
2. 优化存储空间：游戏文件大小可以通过更高效的纹理压缩大幅缩减，从而节省硬盘空间。
3. 增强移动设备性能：在移动 GPU 上，NTC 可以帮助减少功耗并延长电池寿命，同时提供更高质量的图形渲染。

协作向量的作用

微软最近的研究表明，协作向量（Collaborative Vectors）在现代渲染管线中具有重要作用。通过优化向量运算，协作向量可以加速人工智能驱动的实时渲染任务。这些计算不仅用于训练和微调 AI 模型，还可以直接应用于游戏渲染，进一步提升效率。