优惠 基于幅度的梯度更新的新方法MIGU：解决语言模型在持续学习中面临的灾难性遗忘问题

香港大学 、中国科学院信息与通信技术研究所、香港中文大学深圳分校、清华大学、爱丁堡大学、英伟达和香港科技大学的研究人员推出新方法MIGU（基于幅度的梯度更新，用于持续学习），旨在解决语言模型（LMs）在持续学习（Continual Learning, CL）中面临的灾难性遗忘问题。灾难性遗忘是指模型在学习新知识时会遗忘... 阅读全文