优惠 MLKV：针对Transformer模型解码过程中内存使用效率的一种改进

万隆理工学院 (ITB)和MBZUAI推出一种名为MLKV（Multi-Layer Key-Value Heads）的新技术，它是针对Transformer模型解码过程中内存使用效率的一种改进。Transformer模型在自然语言处理（NLP）领域非常流行，但它们在进行自回归推理时，会因为需要存储和加载大量的键值（Ke... 阅读全文