清华大学和智谱AI的研究人员推出一个名为LongCite的系统，它旨在提升大语言模型（LLMs）在长文本环境下生成引用的能力。LongCite通过让模型能够生成带有精细句子级引用的回答，增强了模型输出的可信度和可验证性。例如，你是一名记者，需要写一篇关于环境政策的文章。你可以使用LongCite模型来分析政府发布的长篇环境报告。模型不仅能够回答你关于政策的具体问题，还能提供报告中具体句子的引用，这样你的文章就会包含准确的信息和来源，增加文章的权威性。
- GitHub：https://github.com/THUDM/LongCite
- 数据：https://huggingface.co/datasets/THUDM/LongCite-45k
- 模型：https://huggingface.co/THUDM/LongCite-glm4-9b和https://huggingface.co/THUDM/LongCite-llama3.1-8b
- Demo：https://huggingface.co/spaces/THUDM/LongCite
主要功能：
LongCite的主要功能是让语言模型在回答用户问题时，能够提供具体的句子级引用，这些引用直接指向原文中的相关句子，使用户能够轻松验证模型回答的准确性。
主要特点：
- 自动生成引用： LongCite能够自动从大量文本中提取相关信息，并生成精确的句子级引用。
- 提高可信度： 通过提供具体的文本引用，增强了模型输出的可信度，使用户更有信心。
- 减少“幻觉”问题： 即模型生成与原文不符的信息，通过精确引用减少这种情况。
工作原理：
LongCite采用了一个名为CoF（Coarse to Fine）的流程，该流程分为几个步骤：
- 生成问题和答案： 首先，模型根据给定的长文本生成问题和答案。
- 生成粗略的块级引用： 利用答案中的句子，从文本中检索相关的块，并在答案中插入块级引用。
- 提取精细的句子级引用： 从每个块中提取支持答案的关键句子，形成句子级引用。
- 数据过滤： 过滤掉引用过少的实例，确保每个答案都有足够的引用支持。
具体应用场景：
- 学术研究： 学者可以使用LongCite来生成带有详细引用的文献综述，提高研究的准确性和可信度。
- 法律分析： 在法律领域，LongCite可以帮助分析大量案件文档，并提供精确的法律条文引用。
- 新闻报道： 记者可以使用LongCite来撰写报道，确保所有事实都有准确的来源引用，提高报道的可靠性。
0条评论