优惠 Skywork-MoE：具有1460亿参数和16个专家的高性能混合专家模型

昆仑万维旗下天工AI发布大语言模型（LLM）训练技术Skywork-MoE，Skywork-MoE是一个具有1460亿参数和16个专家的高性能混合专家（Mixture-of-Experts，简称MoE）模型。这个模型是从Skywork-13B模型的密集型检查点初始化而来的。通过实验结果表明，Skywork-MoE在多个... 阅读全文