俄亥俄州立大学和斯坦福大学的研究人员推出一种新型的大语言模型（Large Language Models，简称LLMs）的长期记忆框架，名为HippoRAG。这个框架的设计灵感来源于人类大脑中海马体的索引理论，它帮助我们存储大量的世界知识，并能持续整合新的信息，而不会忘记旧的知识。就像我们人类一样，这种模型可以让计算机在处理语言时，也能记住更多的信息，并且能够随着时间的推移不断学习新知识。
- GitHub：https://github.com/OSU-NLP-Group/HippoRAG
主要功能：
HippoRAG的主要功能是提高大型语言模型在处理多跳问题回答（multi-hop question answering）时的效率和效果。所谓多跳问题回答，就是指在回答一个问题时，需要从多个不同的文本段落中提取信息，并将这些信息综合起来才能得出答案。
主要特点：
- 模拟人脑记忆：HippoRAG借鉴了人类长期记忆的机制，特别是海马体的索引理论，来构建知识图谱（Knowledge Graphs，简称KG）和进行信息检索。
- 单步多跳检索：与现有的检索增强生成（Retrieval-Augmented Generation，简称RAG）方法相比，HippoRAG能够通过单步操作完成多跳检索，大大提高了效率。
- 个性化PageRank算法：HippoRAG使用了个性化PageRank算法来探索知识图谱中的路径，实现高效的信息整合。
工作原理： HippoRAG的工作分为两个阶段：
- 离线索引：在这个阶段，HippoRAG使用大型语言模型来处理文本语料库，通过开放信息提取（OpenIE）技术从中提取知识图谱的三元组（实体和它们之间的关系）。
- 在线检索：当给定一个新的查询时，HippoRAG会识别查询中的关键概念，并使用个性化PageRank算法在知识图谱上运行，以这些概念作为种子，整合跨段落的信息进行检索。
具体应用场景： HippoRAG可以应用于多种需要复杂信息整合的场景，例如：
- 科学文献综述：在撰写科学文献综述时，需要从多篇论文中提取关键信息并整合。
- 法律案例简报：在法律领域，可能需要从多个案例中提取相关信息来形成对某个法律问题的全面理解。
- 医学诊断：在医学诊断中，可能需要结合病人的多个症状、检查结果和医学文献来确定诊断。
论文中还提到，HippoRAG在多跳问题回答的基准测试中表现优异，相较于现有技术，它在某些情况下能够实现高达20%的性能提升。此外，HippoRAG的在线检索过程比现有的迭代检索方法成本低10到30倍，速度快6到13倍。这使得HippoRAG不仅在理论上有创新，而且在实际应用中也具有显著的优势。
0条评论