WeLore

优惠 WeLore(权重低秩投影):以一种与数据无关且一次性的方式,统一了权重压缩和内存高效微调

  • WeLore(权重低秩投影):以一种与数据无关且一次性的方式,统一了权重压缩和内存高效微调
    AI
  • 德克萨斯大学奥斯汀分校、萨里大学、牛津大学、加州理工学院和Meta AI的研究人员推出“权重低秩投影”(Weight Low-Rank Projection,简称WeLore),它以一种与数据无关且一次性的方式,统一了权重压缩和内存高效微调。WeLore利用奇异值的重尾分布来识别适合LLMs中矩阵的秩减比例。除了作为压... 阅读全文