优惠 RESONANCE RoPE（共振旋转位置编码）：改善大语言模型（LLMs）在处理长文本时的性能

来自蒙特利尔大学、魁北克人工智能研究所、华为诺亚方舟实验室的研究人员发布论文介绍了一种名为RESONANCE RoPE（共振旋转位置编码）的技术，它旨在改善大语言模型（LLMs）在处理长文本时的性能。在训练时，模型通常处理较短的文本序列，但在实际应用中可能需要处理更长的文本，这就是所谓的“训练短-测试长”（TSTL）场... 阅读全文