元象发布XVERSE-MoE-A4.2B大模型 ，采用业界最前沿的混合专家模型架构，激活参数4.2B，效果即可达到13B模型水准。据介绍，XVERSE-MoE-A4.2B实现了极致压缩，相比XVERSE-13B-2仅用30%计算量，并减少50%训练时间。在多个权威评测中，元象MoE效果大幅超越Gemma-7B、Mistral-7B、Llama2-13B等开源模型，并接近超大模型Llama1-65B。该模型全开源，无条件免费商用。（详细介绍）
- Hugging Face：https://huggingface.co/xverse/XVERSE-MoE-A4.2B
- ModelScope魔搭：https://modelscope.cn/models/xverse/XVERSE-MoE-A4.2B
- Github：https://github.com/xverse-ai/XVERSE-MoE-A4.2B
0条评论