优惠 PowerInfer-2：在智能手机上实现大语言模型的高速推理，特别是对于那些模型大小超出设备内存容量的情况

上海交通大学推出PowerInfer-2，它的主要目标是在智能手机上实现大语言模型（LLMs）的高速推理，特别是对于那些模型大小超出设备内存容量的情况。PowerInfer-2是第一个能够在智能手机上以每秒11.68个token的速度运行TurboSparse-Mixtral-47B模型的系统，这是一个具有47亿参数的... 阅读全文