标签:Transformer模型
AI
11个月前 (05-22)AI
MIT的研究人员发布论文,主题是关于如何减少Transformer模型中关键值(Key-Value,KV)缓存的大小。Transformer模型是当前自然语言处理(NLP)领域非常流行的一种模型,它在处理大语言模型(LLMs)时,解码速度很快,但需要大量的内存来存储KV缓存,这在处理长序列和大批量数据时尤其成问题。 主... 阅读全文