XVERSE-MoE-A4.2B

优惠 元象首个MoE大模型XVERSE-MoE-A4.2B开源:4.2B激活参数,效果堪比13B模型

  • 元象首个MoE大模型XVERSE-MoE-A4.2B开源:4.2B激活参数,效果堪比13B模型
    AI
  • 元象发布XVERSE-MoE-A4.2B大模型 ,采用业界最前沿的混合专家模型架构,激活参数4.2B,效果即可达到13B模型水准。据介绍,XVERSE-MoE-A4.2B实现了极致压缩,相比XVERSE-13B-2仅用30%计算量,并减少50%训练时间。在多个权威评测中,元象MoE效果大幅超越Gemma-7B、Mist... 阅读全文