华为诺亚方舟实验室推出VeLoRA，它旨在解决大语言模型（LLMs）在训练和微调过程中面临的计算和内存密集问题。尽管大型语言模型在许多语言处理任务上取得了巨大成功，但它们对硬件资源的需求非常高，这限制了它们在现有硬件上的广泛应用。VeLoRA在多个基准测试中的有效性，包括VTAB-1k微调基准测试、GLUE语言基准测试... 阅读全文

英特尔推出LLaMA-NAS，如何高效地优化大型语言模型（LLMs）的网络架构。LLaMA-NAS提供了一种有效的方法，可以在保持大语言模型性能的同时，减少模型的大小和计算成本，使得这些模型可以更广泛地应用于各种场景。例如，你有一台功能强大但耗能巨大的超级计算机，它能够处理复杂的任务，比如理解人类语言、写作文、解决复杂... 阅读全文

索尼推出新型人工智能系统Instruct-MusicGen，它能够根据文本指令来编辑音乐。想象一下，你告诉这个系统“加一段鼓点”，它就能在现有的音乐中加入鼓声，或者你让它“去掉钢琴声”，它就能把钢琴的旋律部分移除。这就像是有一个音乐编辑的魔法棒，你说什么，它就变什么。 主要功能： Instruct-MusicGen的主... 阅读全文

新加坡国立大学的研究人员推出新型框架GFlow，它能够从单目视频（即只用一个摄像头拍摄的视频）中恢复出四维（4D）世界。这里的“4D”指的是三维空间加上时间维度，也就是说，GFlow不仅能够重建视频中的场景，还能追踪场景随时间的变化以及摄像头的位置变化。目前GFlow的一些限制，比如依赖于现成的深度估计和光流算法，以及... 阅读全文

浪潮信息推出新型混合专家（Mixture of Experts，简称MoE）语言模型Yuan 2.0-M32，这个模型是基于Yuan 2.0-2B的一个变体，采用了一种特殊的架构，其中包含32个专家网络，但每次只有2个专家被激活。这种设计旨在提高模型的计算效率和准确性。实验结果表明，Yuan 2.0-M32在上述应用场... 阅读全文

爱丁堡大学推出一种新的深度神经网络（DNN）训练方法，称为2-Stage Backpropagation（简称2BP）。这种方法旨在提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时。论文中通过实验表明，使用2BP在训练具有70亿参数的类似LLaMa的变换器模型时，与传统方法... 阅读全文

M-A-P、滑铁卢大学武汉人工智能研究中心和01.AI的研究人员推出新型大型双语语言模型系列MAP-Neo，这个模型的主要目标是提供高性能和透明度，以推动大语言模型（LLMs）的研究和应用，同时解决现有商业模型不公开透明的问题。论文还讨论了MAP-Neo对社会的影响，包括促进AI资源的公平获取，以及通过开源创新实践来减... 阅读全文

西北大学和微软的研究人员推出一种新型大语言模型（LLMs）的自我探索方法，称为“自探索语言模型”（Self-Exploring Language Models，简称SELM）。这种方法专门用于在线对齐大型语言模型，即通过人类的反馈来调整和优化语言模型的行为，使其更好地遵循人类的意图。实验结果表明，当SELM应用于Zep... 阅读全文

谷歌推出一种新的强化学习方法，名为“价值激励的偏好优化”（Value-Incentivized Preference Optimization，简称VPO）。这种方法特别适用于在线和离线环境中的人类反馈强化学习（Reinforcement Learning from Human Feedback，简称RLHF）。RLH... 阅读全文

Meta推出新技术Nest（Nearest Neighbor Speculative Decoding，最近邻推测解码），它旨在改善大语言模型（LLMs）在生成文本时的准确性和归因能力。大型语言模型虽然在多种任务上表现出色，但它们有时会生成与现实不符的“幻觉”内容，并且在提供生成内容的来源归因方面存在不足。 主要功能：... 阅读全文

Google DeepMind推出新型多塔解码器架构Zipper，它能够将多个在不同模态上独立预训练的生成模型融合在一起，创造出比单独模型更强大的多模态生成能力。简单来说，Zipper就像一个多才多艺的艺术家，能够把不同的艺术形式（比如语言、声音和图像）融合在一起，创作出新的艺术作品。论文还提到了Zipper的一些限制... 阅读全文

Google DeepMind推出一种新的强化学习方法DRO（Direct Reward Optimisation，直接奖励优化），用于大语言模型（LLM）的对齐。这种方法旨在改善大型语言模型的行为，使其更好地符合人类的偏好。这很重要，因为一个好的语言模型不仅需要智能，还需要能够生成对用户有帮助且安全的内容。 主要功能... 阅读全文