Turbo Sparse

优惠 新颖方法Turbo Sparse:能够在保持模型性能的同时,显著减少每次推理迭代中激活的参数数量

  • 新颖方法Turbo Sparse:能够在保持模型性能的同时,显著减少每次推理迭代中激活的参数数量
    AI
  • 上海交通大学并行与分布式系统研究所(IPADS)、清华大学计算机科学与技术系和上海人工智能实验室的研究人员推出新颖方法Turbo Sparse,能够在保持模型性能的同时,显著减少每次推理迭代中激活的参数数量。提高大型语言模型(LLMs)在推理(inference)过程中的效率,特别是针对那些参数量巨大的模型。通过使用T... 阅读全文