通用人工智能国家重点实验室 BIGAI、北京大学推出新方法“Consistent In-Context Editing”（简称ICE），旨在解决大语言模型在知识编辑场景中的脆弱性问题。在这些场景中，模型需要在不进行大量重新训练的情况下，整合新信息。传统的微调方法在这种情况下往往会导致过拟合、性能下降和不自然的语言表达。
例如，我们有一个语言模型，它需要回答关于“美国总统是谁”的问题。如果模型是基于过时的数据训练的，它可能会回答“巴拉克·奥巴马”，而实际上我们希望的答案是“乔·拜登”。使用ICE方法，我们可以在不重新训练整个模型的情况下，通过提供上下文信息和目标答案，引导模型学习如何正确地回答这个问题，同时保持模型在其他问题上的性能不变。
主要功能与特点：
- 无需大量重新训练：ICE方法允许模型通过上下文学习，针对特定查询对知识进行调整，而不影响模型在其他领域的整体性能。
- 上下文分布学习：与传统的针对单一结果的微调不同，ICE学习的是朝着与目标知识一致的上下文分布，同时保持与原始分布的相似性。
- 优化框架：ICE引入了一个简单的优化框架，通过梯度下降算法动态适应模型，提高鲁棒性。
- 全面分析：论文对ICE在知识编辑的四个关键方面（准确性、局部性、泛化能力和语言质量）进行了深入分析，并展示了其优势。
工作原理：
- ICE利用上下文提示来引导模型朝着与期望知识一致的新分布发展，同时通过限制模型参数的更新范围，保持对无关知识的保留。
- 通过在训练过程中嵌入额外的上下文信息，ICE将更改限制在模型分布的局部区域内，并通过采样和梯度下降来最小化模型在有和没有上下文时输出的差异。
具体应用场景：
- 当需要更新大型语言模型中的过时信息或整合新知识时，例如，如果一个模型在训练数据中学习到“美国总统是唐纳德·特朗普”，而我们需要更新这一信息为“乔·拜登”，ICE能够在不重新训练整个模型的情况下实现这一更新。
- 此外，ICE还适用于需要持续更新知识的场合，比如在WikiDatarecent数据集上进行持续编辑，每次编辑都建立在之前模型的基础上，ICE能够在多次编辑后仍然保持模型的完整性和性能。
0条评论