GoldFinch

优惠 新型混合模型GoldFinch:结合了线性注意力(Linear Attention)和Transformer序列模型,以提高处理长序列数据时的性能和效率

  • 新型混合模型GoldFinch:结合了线性注意力(Linear Attention)和Transformer序列模型,以提高处理长序列数据时的性能和效率
    AI
  • 新型混合模型GoldFinch,它结合了线性注意力(Linear Attention)和变压器(Transformer)序列模型,以提高处理长序列数据时的性能和效率。GoldFinch通过一种新技术,能够在与序列长度成线性关系的时间和空间内,高效生成一个高度压缩且可重用的键值缓存(KV-Cache)。 GitHub:h... 阅读全文