Meta推出新技术Nest（Nearest Neighbor Speculative Decoding，最近邻推测解码），它旨在改善大语言模型（LLMs）在生成文本时的准确性和归因能力。大型语言模型虽然在多种任务上表现出色，但它们有时会生成与现实不符的“幻觉”内容，并且在提供生成内容的来源归因方面存在不足。
主要功能：
- 提高准确性：Nest通过结合最近邻检索技术，帮助语言模型生成更准确、更符合现实的内容。
- 归因能力：Nest能够为模型生成的文本提供直接的来源归因，这对于验证信息的可靠性和保护版权非常重要。
主要特点：
- 半参数模型：Nest是一种半参数语言模型，它结合了预训练的语言模型和非参数数据存储中的最近邻匹配。
- 推测解码：Nest采用推测解码方法，通过生成草稿并评估草稿来加速生成过程，并提高文本质量。
- 动态跨度选择：Nest能够根据检索到的文本跨度动态选择生成内容，保持文本的连贯性。
- 归因精度：Nest提供了细粒度的归因，能够精确地指出生成文本中哪些部分来源于数据集中的哪个具体文档。
工作原理：
- Nest首先使用语言模型的隐藏状态作为查询，检索数据存储中的最近邻项。
- 然后，它通过一个新颖的相对检索置信度（RRC）分数来衡量检索器的不确定性，并将其作为输出概率混合的插值系数。
- Nest在每个推理步骤中执行令牌级别的检索，以计算半参数混合分布，并在语料库中识别有希望的跨度延续。
- 接着，Nest使用一种近似的推测解码过程，接受检索到的跨度的前缀或生成一个新令牌。
具体应用场景：
- 知识密集型任务：在需要准确信息的任务中，如问答系统、事实核查和法律文档分析，Nest可以提供更准确的答案和来源归因。
- 内容创作：在需要引用现有资料创作新内容的场景中，Nest可以帮助生成与原文高度一致的文本，同时提供准确的引用信息。
- 教育和研究：在学术研究或教育领域，Nest可以作为辅助工具，帮助用户获取和引用可靠的信息源。
- 版权保护：在版权管理和内容创作领域，Nest的归因功能可以帮助识别和保护原创作品的使用。
论文还讨论了Nest的一些局限性，例如它依赖于第一阶段的段落检索和第二阶段的令牌检索的准确性。此外，作为插件式方法，Nest的主要目标是提供一种灵活的解决方案，能够与不同的LLMs和数据存储结合使用。论文的结论强调了Nest在提高大型语言模型的准确性和归因能力方面的潜力，并指出了未来可能的改进方向。
0条评论