佐治亚理工学院和谷歌的研究人员推出新方法PLaD(Preference-based Large Language Model Distillation),它用于从大语言模型(LLMs)中提取知识并将其传授给更紧凑的学生模型。这种方法特别适用于资源受限的环境中,能够有效地减少模型的内存占用和推理成本。 例如,你有一个非常... 阅读全文
斯坦福大学、马萨诸塞大学阿默斯特分校和德克萨斯大学奥斯汀分校的研究人员推出强化学习算法Direct Alignment Algorithms(直接对齐算法,简称DAAs),特别是在人类反馈强化学习(Reinforcement Learning from Human Feedback,简称RLHF)中的应用。RLHF是一... 阅读全文