新型模型“Multi-Head Mixture-of-Experts”（MH-MoE），它是一种稀疏混合专家（Sparse Mixtures of Experts，简称SMoE）模型的改进版本。SMoE模型通过在每个构建模块中包含多个并行前馈神经网络（即专家），并通过路由器有策略地激活特定输入令牌的特定专家，从而在保持恒定计算需求的同时增强了模型的容量，实现了比密集激活模型更好的性能。
主要功能和特点：
- 更高的专家激活率：MH-MoE通过多头机制激活更多的专家，解决了原始SMoE模型中只有少数专家被激活的问题。
- 更细粒度的理解能力：MH-MoE能够更精细地理解输入令牌的多个语义概念，这在处理多义词或不同语言中的假同源词时特别有用。
- 易于实现和集成：MH-MoE实现了简单性，可以轻松地与其他SMoE框架集成，以提高性能。
工作原理：
MH-MoE模型的工作原理如下：
- 多头机制：将每个输入令牌分割成多个子令牌，并将这些子令牌分配给不同的专家进行并行处理。
- 专家处理：不同的专家并行处理分配到的子令牌，并捕捉不同的特征和语义信息。
- 重新整合：处理后的子令牌被无缝地重新整合成原始令牌形式，以便在后续的非并行层（如注意力层）中使用。
具体应用场景：
MH-MoE在以下三个任务中进行了评估，并展示了其有效性：
- 英语聚焦的语言建模：在英语语言数据上进行预训练，以预测序列中的下一个词。
- 多语言语言建模：在多语言数据上进行预训练，以理解和生成不同语言的文本。
- 掩蔽多模态建模任务：在视觉和语言数据上进行预训练，以理解图像内容并生成描述性文本。
0条评论