台湾大学的研究人员推出新框架DogeRM（Domain knowledge merged Reward Model），它通过模型融合的方式，将特定领域的知识整合到通用的奖励模型中。这项技术是针对强化学习中的人类反馈（RLHF）环节设计的，目的是让大语言模型（LLMs）的行为更符合人类的期望。论文还提到，尽管DogeRM在数学和编程基准测试中表现出色，但仍有一些局限性，比如目前只测试了7B大小的模型，并且只在数学和编程领域进行了测试。此外，DogeRM并没有消除模型中固有的偏见，这需要进一步的研究来探讨。
例如，我们有一个大型语言模型，需要它来解决数学问题或编写代码。但是，这些任务需要专业知识，而通用的奖励模型可能不够精准。通过DogeRM，我们可以将一个已经训练有素的数学或编程领域的语言模型与奖励模型合并，这样，当给定一个数学问题或编程任务时，融合后的模型就能提供更专业、更准确的解决方案。
主要功能和特点：
- 领域知识融合：DogeRM能够将特定领域的专业知识，如数学和编程知识，融合到奖励模型中，以提高模型在专业任务上的表现。
- 性能提升：实验表明，使用DogeRM的模型在不同基准测试中的性能得到了提升。
- 模型合并：通过模型合并技术，DogeRM能够将预训练的通用模型与特定领域的模型结合起来，无需额外的训练。
工作原理：
- 奖励模型训练：首先，使用变换器（transformer）基础的预训练语言模型，并将解码层替换为线性回归层，以生成给定输入的奖励。
- 模型参数分割：将监督式微调语言模型（SFT）和奖励模型（RM）的参数分割成不同的部分，并对共享的嵌入层参数应用加权平均。
- 模型融合：通过加权平均的方式，将SFT模型的参数与奖励模型的参数合并，形成一个新的融合模型。
具体应用场景：
- 数学问题求解：DogeRM可以帮助模型更准确地解决数学问题，例如，根据给定的指令和响应，模型可以判断哪个解决方案更受偏好。
- 编程任务：在编程领域，DogeRM可以提高代码生成的准确性和效果，帮助模型生成更符合要求的代码。
0条评论