Google DeepMind推出新型文本嵌入模型Gecko，它的设计目的是从大语言模型（LLMs）中提取知识，以提高文本检索的性能。文本嵌入模型可以将文本数据转换为密集的向量形式，这样语义上相似的文本在嵌入空间中就会彼此靠近。这种模型广泛应用于文档检索、句子相似性比较、分类和聚类等任务。例如，假设用户在搜索引擎中输入了一个查询：“谁发明了原子炸弹？”Gecko模型可以快速地从大量文档中检索出与该查询最相关的段落，并返回给用户。由于Gecko在训练过程中已经学习了如何理解和处理各种类型的任务，它可以灵活地适应不同的检索需求，无论是事实核查还是问题回答。
主要功能和特点：
- 紧凑且高效：Gecko模型尽管体积小巧，但在大规模文本嵌入基准测试（MTEB）上的表现却超过了一些参数更多、嵌入维度更大的模型。
- 两步蒸馏过程：Gecko通过两个步骤从LLMs中提取知识。首先，使用LLMs生成多样化的合成数据对；其次，通过检索和重新标记正例和负例来进一步提高数据质量。
- 零样本学习能力：Gecko模型仅使用LLMs生成的数据（FRet）进行训练，就能在MTEB上实现强大的零样本（zero-shot）泛化能力。
工作原理： Gecko模型的训练分为两个阶段：预微调和微调。在预微调阶段，模型通过在大量文本对上进行自监督学习来暴露于丰富的文本多样性。在微调阶段，Gecko使用一个新颖的微调数据集，该数据集通过LLMs生成的FRet数据集和人类标注的数据集混合而成。FRet数据集包含了由LLMs生成的任务描述、查询、正例和负例。微调过程中，模型学习将查询与其对应的任务描述和目标文本对齐，同时区分难负例。
具体应用场景：
- 信息检索：Gecko可以用于搜索引擎，帮助用户找到与查询最相关的文档或信息。
- 语义相似性比较：在需要比较两段文本语义相似性的任务中，如文档聚类或推荐系统，Gecko能够提供准确的相似性评分。
- 多语言任务：Gecko的多语言版本能够处理多种语言的文本嵌入任务，显示出在不同语言环境下的良好适应性。
0条评论