格罗宁根大学语言与认知中心 (CLCG)和阿姆斯特丹大学逻辑、语言与计算研究所 (ILLC)的研究人员推出MIRAGE（Model Internals-based RAG Explanations），它利用模型内部信息来确保大语言模型（LLMs）生成的答案能够准确引用支持文档。关于提高检索增强型生成（Retrieval-Augmented Generation, RAG）在问答（QA）领域中模型答案的可验证性。
例如，一个问答系统需要回答关于“飞机票超售”的问题。系统可能会引用多个来源来解释航空公司如何以及为什么可以销售比航班实际座位更多的机票。MIRAGE能够在生成的答案中准确地指出哪些部分是来自哪个具体的文档，比如“根据Science ABC的报告，航空公司假设在200个座位中，只有185个会被实际占用，因此它们选择提前销售220个座位。”这样，用户就可以追溯到具体信息的来源，验证答案的准确性。
主题介绍
在问答系统中，我们经常希望模型不仅能给出问题的答案，还能提供答案的来源，这样用户就可以验证答案的准确性。但是，现有的一些模型在生成答案时，可能会“瞎猜”或者生成与给定的参考文档不完全一致的答案。
主要功能
- 答案归属：MIRAGE能够识别生成答案中哪些部分是受到检索到的文档影响的，并将其与这些文档关联起来。
主要特点
- 插件式方法：MIRAGE作为一个插件，可以轻松地集成到现有的RAG应用中。
- 利用模型内部信息：与传统的基于提示的方法不同，MIRAGE通过分析模型的内部工作机制来生成答案归属。
工作原理
- 上下文敏感标记识别（Context-sensitive Token Identification, CTI）：MIRAGE首先识别生成答案中哪些标记（tokens）是受上下文影响的。
- 上下文线索归因（Contextual Cues Imputation, CCI）：然后，MIRAGE使用基于梯度的显著性或其他特征归因技术来确定上下文中哪些标记对预测有影响。
- 文档级引用转换：最后，MIRAGE将这些信息转换成标准的答案归属格式，以便用户可以理解和验证。
具体应用场景
- 多语言问答：MIRAGE在多语言的问答数据集上进行了评估，显示出与人类答案归属的高度一致性。
- 开放性问答：在开放性问答数据集上，MIRAGE能够在保持与自引（self-citation）相当的引用质量和效率的同时，提供更细粒度的归属参数控制。
0条评论