Google DeepMind 、UCL、 Google Research、特拉维夫大学的研究人员发布论文探讨了大语言模型（LLMs）是否能够在处理复杂提示时潜在地执行多跳推理。多跳推理是指模型在没有直接给出推理所需信息的情况下，能够通过存储在参数中的知识来完成推理任务。例如，当处理“‘Superstition’这首歌的歌手的母亲是谁？”这样的提示时，模型是否能够（1）识别出“Superstition”这首歌的歌手是Stevie Wonder，（2）并使用它关于Stevie Wonder母亲的知识来完成提示。
论文地址：https://arxiv.org/abs/2402.16837
主要功能：
- 论文通过实验验证了LLMs在处理特定类型的提示时，是否能够表现出潜在的多跳推理能力。
- 研究者们构建了一个名为TWOHOPFACT的数据集，包含了45,595个两跳提示，用以测试模型的推理能力。
主要特点：
- 论文提出了两个新的度量标准：内部实体回忆分数（ENTREC）和一致性分数（CNSTSCORE），用于评估模型在处理提示时对实体的回忆和知识利用程度。
- 实验结果显示，对于某些类型的提示，模型在多跳推理的第一步（识别桥接实体）上表现出较强的能力，但在第二步（利用桥接实体的知识）上的表现则相对较弱。
工作原理：
- 研究者们首先分析了模型在处理两跳提示时的内部动态，特别是模型在处理提示时对桥接实体的回忆（第一步）以及模型如何利用这些知识来回答问题（第二步）。
- 通过改变提示中的描述性提及（例如，将“Superstition”的歌手替换为“Thriller”的歌手），研究者们观察模型内部对桥接实体的回忆是否增加。
- 接着，他们测试了增加这种回忆是否会导致模型在回答两跳提示时更加一致，这表明模型在利用其对桥接实体属性的知识。
具体应用场景：
- 这项研究对于理解和改进LLMs在复杂推理任务中的表现具有重要意义，尤其是在需要模型从大量信息中提取和利用知识的场景，如问答系统、知识图谱的自然语言接口等。
- 通过揭示模型在多跳推理中的潜在能力，未来的研究可以探索如何设计更高效的模型架构和训练方法，以提高模型在这些任务上的表现。
总的来说，这篇论文通过实验研究了LLMs在处理复杂提示时的潜在推理能力，并提出了新的度量标准来评估这种能力。这些发现为未来LLMs的发展和应用提供了有价值的见解。
0条评论