优惠 微软推出新型混合神经网络架构SAMBA：高效处理无限上下文长度的语言建模而设计

微软和伊利诺伊大学香槟分校推出新型混合神经网络架构SAMBA，它专为高效处理无限上下文长度的语言建模而设计。SAMBA结合了状态空间模型（State Space Model，简称SSM）和滑动窗口注意力机制（Sliding Window Attention，简称SWA），旨在解决传统语言模型在处理极长文本时面临的性能和... 阅读全文