优惠 HyperCloning：用于加速大语言模型预训练的新策略

苹果推出了一个名为HyperCloning的方法，这是一种用于加速大语言模型预训练的新策略。它通过利用小型预训练模型的参数来初始化一个更大的模型，从而提高了训练效率和最终的准确性。因此，在训练开始之前，较大模型就已经继承了较小模型的预测能力和准确性。我们展示了训练这样一个初始化后的模型，在预训练大型语言模型所需的 GP... 阅读全文