DSiRe

优惠 数据集大小恢复DSiRe:从模型的权重中直接确定训练模型时使用的样本数量

  • 数据集大小恢复DSiRe:从模型的权重中直接确定训练模型时使用的样本数量
    AI
  • 耶路撒冷希伯来大学的研究人员推出DSiRe(数据集大小恢复,Dataset Size Recovery),旨在从模型的权重中直接确定训练模型时使用的样本数量。具体来说,研究者们专注于在使用低秩适应(LoRA)微调模型的情况下,恢复用于微调的数据集大小。LoRA是一种流行的微调技术,它通过添加低秩权重矩阵来调整预训练模型... 阅读全文