这篇论文介绍了一种名为GaLore（Gradient Low-Rank Projection）的方法，它是一种训练大型语言模型（LLMs）的策略，旨在解决训练过程中的显存挑战。随着LLMs的规模不断增长，它们的权重和优化器状态所需的内存也越来越多，这限制了在有限硬件资源上进行训练的能力。
主要功能：
GaLore的主要功能是通过梯度低秩投影来减少显存使用，同时保持训练的效率和性能。这种方法允许模型在不牺牲训练质量的前提下，使用更少的内存资源进行训练。
主要特点：
- 内存效率： GaLore能够显著减少优化器状态的内存使用，最高可减少65.5%。
- 性能保持： 在预训练和微调阶段，GaLore能够保持与全参数训练相当的效率和性能。
- 兼容性： GaLore与现有的优化器（如Adam）兼容，并且可以通过少量代码修改轻松集成到现有的训练流程中。
工作原理： GaLore的核心思想是利用梯度矩阵G的低秩结构，而不是直接近似权重矩阵本身。在训练过程中，GaLore计算两个投影矩阵P和Q，将梯度矩阵G投影到低秩形式P⊤GQ。这样，依赖于梯度统计的优化器状态的内存成本就可以大幅降低。GaLore在训练过程中保持低内存消耗，不需要全参数训练的预热阶段。
具体应用场景：
- 资源受限的硬件： GaLore使得在内存有限的消费级GPU（如NVIDIA RTX 4090）上训练大型模型成为可能，无需模型并行、检查点或卸载策略。
- 大规模预训练： 在LLaMA 1B和7B架构上，GaLore能够在C4数据集上进行预训练，处理高达19.7B个token。
- 微调任务： GaLore在GLUE任务上的微调表现与现有的低秩方法相当或更好。
举个例子，假设我们想要在一台只有24GB内存的GPU上训练一个大语言模型。使用GaLore，我们可以在不牺牲模型性能的情况下，显著减少显存消耗，从而使得在这种硬件上训练大型模型成为现实。这不仅提高了训练的可行性，也为研究者和开发者提供了更多的灵活性。
0条评论