香港大学和腾讯人工智能实验室的研究人员推出新型参数高效微调方法Mixture-of-Subspaces LoRA（简称MoSLoRA），这种方法适用于大语言模型、多模态模型和扩散模型，旨在通过一种计算效率高、易于实现的方式，提高模型对特定任务的适应性。MoSLoRA是一种既节省资源又能够提升大型模型性能的有效微调方法，它通过智能地融合模型的不同部分来增强模型对特定任务的适应能力。
- GitHub：https://github.com/wutaiqiang/MoSLoRA
例如，我们有一个大型语言模型，它在处理常识问题时表现不佳。通过使用MoSLoRA，我们可以在不改变模型整体结构的情况下，通过引入低秩分支和可训练的混合器来专门优化模型在这类问题上的表现。例如，在常识推理任务中，MoSLoRA通过混合不同子空间的信息，帮助模型更好地理解和生成与问题相关的回答。
主要功能与特点：
- 参数高效：MoSLoRA通过在原有模型权重中引入低秩分支来更新模型，而不是调整所有参数，从而减少了需要优化的参数数量。
- 灵活性：该方法通过学习一个可训练的混合器（mixer），能够更灵活地融合不同的子空间信息。
- 易于实现：MoSLoRA基于LoRA方法，通过结构重参数化将LoRA分解为子空间，并在此基础上进行改进，易于集成到现有模型中。
- 无需额外计算成本：在推理阶段，MoSLoRA可以像LoRA一样将额外的低秩分支合并回原始权重，不引入额外的推理延迟。
工作原理：
MoSLoRA的核心思想是将LoRA方法中的权重分解为两个子空间，并使用一个可学习的混合器来融合这些子空间。具体来说：
- 子空间分解：将LoRA中的低秩矩阵分解为更小的子空间。
- 混合器学习：通过训练学习一个混合器，该混合器能够以更灵活的方式融合来自不同子空间的信息。
- 参数更新：在训练过程中，原始权重保持不变，只有混合器和低秩分支的参数会被更新。
具体应用场景：
- 常识推理任务：MoSLoRA可以用于微调大型语言模型，以提高它们在常识推理任务上的表现。
- 视觉指令调整：在多模态模型中，MoSLoRA可以帮助模型更好地理解和响应视觉指令。
- 主题驱动的图像生成：在文本到图像的扩散模型中，MoSLoRA可以用来生成与给定主题更一致的图像。
0条评论