浙江大学、腾讯平台与内容事业群和哈尔滨工业大学的研究人员推出新基准KnowUnDo，用于更细致地评估知识忘却方法，特别是在版权内容和用户隐私领域。此外，论文还提出了MemFlex方法，它在实验中显示出在精确忘却特定知识方面优于现有方法，并能显著减少训练资源的消耗。最后，论文讨论了这种方法的局限性，并提出了未来研究的方向。
- 论文：https://arxiv.org/abs/2407.01920
- GitHub：https://github.com/zjunlp/KnowUnDo
大语言模型（LLMs）的“知识忘却”（knowledge unlearning）问题。大语言模型在训练过程中不可避免地会学到一些敏感数据，比如个人隐私信息和版权材料。为了确保这些系统的安全性和完整性，有时需要从模型中移除这些敏感知识。然而，现有的知识忘却方法往往界限模糊，可能会无差别地擦除知识，包括那些对模型功能至关重要的一般知识。
论文主题介绍
想象一下，你有一个非常智能的助手，它通过阅读大量的书籍和互联网信息来学习。但是，在这个过程中，它可能学到了关于某个人的私人信息，或者一些需要授权才能使用的内容。现在，你需要让这个助手“忘记”这些信息，以避免将来在回答问题时不小心泄露这些敏感信息。这就是这篇论文要解决的问题。
主要功能
- 知识忘却：从大型语言模型中移除特定的敏感知识，同时保留对模型功能有用的一般知识。
主要特点
- 精确忘却：通过MemFlex方法，利用梯度信息精确定位并忘却敏感参数。
- 保留一般知识：在忘却敏感知识的同时，尽量不影响模型对一般知识的记忆和使用。
工作原理
- 知识定位：使用梯度信息来识别模型参数中与敏感知识相关的部分。
- 精确忘却：通过迭代过程，收集与敏感知识相关的梯度信息，并确定需要忘却的参数区域。
- 保留一般知识：在忘却过程中，通过设置阈值来区分忘却区域和保留区域，确保一般知识得以保留。
具体应用场景
- 版权内容处理：在需要遵守版权法规的情况下，从模型中移除未经授权的版权内容。
- 用户隐私保护：在遵守隐私法规（如GDPR）的情况下，删除模型学到的个人隐私信息。
- 数据合规性：在需要符合特定数据保护标准或法规的行业中，确保模型的使用符合合规性要求。
0条评论