优惠 MH-MoE：稀疏混合专家（SMoE）模型的改进版本

新型模型“Multi-Head Mixture-of-Experts”（MH-MoE），它是一种稀疏混合专家（Sparse Mixtures of Experts，简称SMoE）模型的改进版本。SMoE模型通过在每个构建模块中包含多个并行前馈神经网络（即专家），并通过路由器有策略地激活特定输入令牌的特定专家，从而在保持... 阅读全文