这篇论文介绍了一种名为Co-LLM（Collaborative Language Model）的方法，它教会多个大语言模型（LLM）如何协作。假设我们有一个任务是回答医学问题。Co-LLM可以让一个通用的大型语言模型（比如LLAMA-7B）生成问题的回答框架，然后调用一个专门针对医学领域训练的模型（比如MEDITRON-70B）来填充具体的医学知识。这样，最终的回答既包含了通用模型的组织结构，又融入了专家模型的专业知识。
主要功能： Co-LLM的主要功能是让不同的语言模型在生成文本时相互协作。这就像是在写作时，一个模型负责构思大纲，另一个模型负责填充具体内容，或者在解决数学问题时，一个模型负责设置方程，另一个模型负责计算结果。
主要特点：
- 无需直接监督： Co-LLM通过优化训练集的边际可能性来自动学习何时生成自己的内容，何时调用其他“助手”模型，这个过程不需要直接告诉模型在每个步骤应该使用哪个模型。
- 灵活的协作模式： 模型可以学习到多种协作策略，例如在需要专业知识时调用特定领域的模型，或者在需要大量计算时将模型当作API来使用。
- 跨领域应用： Co-LLM特别适用于跨领域设置，比如让一个通用的大型模型学会在需要时调用特定领域的专家模型。
工作原理： Co-LLM通过在生成过程中在令牌级别上交错不同模型的输出来实现协作。它将决定哪个模型生成下一个令牌的任务建模为一个潜在变量。在训练过程中，通过优化这个潜在变量模型的边际可能性，基础模型学会了如何与助手模型协作。在推理时，Co-LLM会找到最佳的令牌序列和最佳的助手模型决策。
具体应用场景：
- 指令遵循： 在需要遵循特定指令的任务中，Co-LLM可以调用更专业的模型来提供准确的回答。
- 领域特定问答： 在医学、数学等特定领域的问题回答中，Co-LLM可以利用领域专家模型来提供更准确的答案。
- 推理任务： 在需要逻辑推理的任务中，Co-LLM可以通过协作生成更连贯、更少重复的文本，提高推理能力。
0条评论