优惠 MInference：加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时

微软公司和 萨里大学的研究人员推出新技术MInference（Million-tokens Inference），它旨在加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时。预填充阶段是LLMs生成文本前的一个重要步骤，但当文本长度增加时，这一阶段的计算成本会变得非常高。 项目主页：https:/... 阅读全文