Databricks、MIT和DatologyAI的研究人员发布论文，主题是探讨如何利用小型语言模型来筛选大规模文本数据集的高质量子集，以提高大语言模型（LLMs）的性能。具体来说，研究者们研究了基于小型模型的困惑度（perplexity）进行数据筛选的方法，以及这种方法如何受到数据领域组成的影响。
例如，我们有一个大型的文本数据集，包含各种各样的主题和领域，如新闻、科学论文、文学作品等。我们希望训练一个能够理解和生成文本的大型语言模型。但是，这个数据集中可能包含噪声数据或者与我们训练目标不相关的样本。通过使用小型语言模型来计算每个样本的困惑度，我们可以筛选出那些模型难以理解或者理解起来成本较高的样本，只保留那些对模型训练有帮助的高质量样本。这样，在训练大语言模型时，就可以使用这个经过筛选的数据集，从而提高模型的性能和训练效率。例如，在论文中，使用基于125百万参数模型计算的困惑度进行筛选，可以显著提高一个30亿参数模型在下游任务上的平均性能。
主要功能与特点：
- 困惑度筛选：使用小型语言模型计算数据集中每个样本的困惑度，然后根据困惑度的高低来筛选数据。
- 提高性能：通过筛选，可以显著提高大型语言模型在下游任务中的表现。
- 减少训练步骤：筛选后的数据可以减少达到与基线性能相同的预训练步骤数量。
工作原理：
- 首先，研究者们将原始数据集分为两部分：一部分用于训练小型参考模型，另一部分用于训练最终的大型模型。
- 然后，他们训练小型参考模型，并计算该模型在最终模型训练数据集的每个样本上的困惑度。
- 接着，根据困惑度的高低，筛选出一定比例的样本，形成一个新的训练数据集。
- 最后，使用这个筛选后的数据集来训练最终的大型模型，并评估其在下游任务上的性能。
具体应用场景：
- 预训练数据优化：在大型语言模型的预训练阶段，通过筛选高质量的数据来提高模型的预训练效果。
- 减少训练成本：通过减少需要训练的数据量，可以降低训练大型语言模型所需的计算资源和时间。
- 提高模型泛化能力：筛选出的数据子集可能更具有代表性，有助于提高模型在多种任务上的泛化能力。
0条评论