优惠 Inheritune：用于从现有的大型基础语言模型中开发小型基础语言模型

德克萨斯大学奥斯汀分校的研究人员推出简单方法Inheritune，用于从现有的大型基础语言模型（LM）中开发小型基础语言模型。这种方法的核心思想是：首先从大型LM中继承几个变压器块（层），然后在非常小的数据集（例如，原始预训练数据的0.1%）上训练这个小型模型。这个过程类似于从父母那里继承基因，然后用有限的资源（如食物... 阅读全文