麻省理工学院推出新技术Trans-LoRA，它是一种用于大语言模型（LLMs）的参数高效微调（PEFT）方法。Trans-LoRA的核心目标是在不访问原始训练数据的情况下，实现低秩适配器（LoRA）模型在不同基础模型之间的无损转移。这项技术为大型模型的迁移和微调提供了一种高效、实用且几乎不需要数据的方法，极大地方便了模型的更新和迭代过程。
例如，你有一个为特定任务训练的LoRA模型，现在你想将这个模型应用到一个更强大的新基础模型上。使用Trans-LoRA，你只需要提供很少的示例（例如5个），Trans-LoRA就能生成合成数据，并利用这些数据训练一个鉴别器来筛选高质量的合成样本。然后，通过知识蒸馏，新模型可以学习旧模型的技能，并在新的基础模型上实现更好的性能，而这一切都无需访问原始的训练数据。
主要功能：
- 无损模型转移： Trans-LoRA能够在不损失性能的前提下，将针对特定任务训练的LoRA模型从一个基础模型转移到另一个基础模型。
- 数据免费： 该技术几乎不需要原始任务数据，只需极少量的“种子”示例来指导合成数据的生成。
- 跨模型家族转移： Trans-LoRA支持在同一模型家族内部以及跨不同模型家族之间进行模型转移。
主要特点：
- 参数高效： 它只需要训练少量额外的参数，而不需要对整个基础模型进行微调。
- 自动和集中化： 在模型服务提供商端自动和集中化地进行LoRA模型的转移，无需客户重新训练他们的模型。
- 性能提升： 在许多情况下，Trans-LoRA不仅能够保持原有的性能，还能在转移过程中进一步提升模型性能。
工作原理：
- 合成数据生成： 使用大型语言模型作为生成器，根据少量种子样本和特定任务的指令，生成与原始任务数据在统计上无法区分的合成数据集。
- 鉴别器训练： 训练一个鉴别器模型，以区分合成数据和真实数据，确保合成数据集与原始训练数据的分布尽可能接近。
- 知识蒸馏： 利用合成数据和鉴别器筛选出的数据，通过知识蒸馏的方式调整目标模型的参数，使其学习到源模型的知识和能力。
具体应用场景：
- 商业云服务： 在商业云模型服务中，当需要将基础模型替换为新的LLM时，Trans-LoRA可以帮助自动转移客户的LoRA模型到新的模型上，无需重新训练。
- 多任务学习： 当模型需要在多种任务上进行微调时，Trans-LoRA可以高效地将一个模型在一个任务上学到的知识转移到另一个任务上。
- 模型迭代： 当模型开发者需要迭代他们的模型时，Trans-LoRA可以确保旧模型上的微调成果能够顺利迁移到新模型上，减少重复工作。
0条评论