新加坡国立大学的研究人员推出新型框架GFlow，它能够从单目视频（即只用一个摄像头拍摄的视频）中恢复出四维（4D）世界。这里的“4D”指的是三维空间加上时间维度，也就是说，GFlow不仅能够重建视频中的场景，还能追踪场景随时间的变化以及摄像头的位置变化。目前GFlow的一些限制，比如依赖于现成的深度估计和光流算法，以及... 阅读全文

浪潮信息推出新型混合专家（Mixture of Experts，简称MoE）语言模型Yuan 2.0-M32，这个模型是基于Yuan 2.0-2B的一个变体，采用了一种特殊的架构，其中包含32个专家网络，但每次只有2个专家被激活。这种设计旨在提高模型的计算效率和准确性。实验结果表明，Yuan 2.0-M32在上述应用场... 阅读全文

爱丁堡大学推出一种新的深度神经网络（DNN）训练方法，称为2-Stage Backpropagation（简称2BP）。这种方法旨在提高大型深度神经网络（如大语言模型）在训练时的效率，特别是在多个加速器（如GPU）上并行训练时。论文中通过实验表明，使用2BP在训练具有70亿参数的类似LLaMa的变换器模型时，与传统方法... 阅读全文

M-A-P、滑铁卢大学武汉人工智能研究中心和01.AI的研究人员推出新型大型双语语言模型系列MAP-Neo，这个模型的主要目标是提供高性能和透明度，以推动大语言模型（LLMs）的研究和应用，同时解决现有商业模型不公开透明的问题。论文还讨论了MAP-Neo对社会的影响，包括促进AI资源的公平获取，以及通过开源创新实践来减... 阅读全文

西北大学和微软的研究人员推出一种新型大语言模型（LLMs）的自我探索方法，称为“自探索语言模型”（Self-Exploring Language Models，简称SELM）。这种方法专门用于在线对齐大型语言模型，即通过人类的反馈来调整和优化语言模型的行为，使其更好地遵循人类的意图。实验结果表明，当SELM应用于Zep... 阅读全文

谷歌推出一种新的强化学习方法，名为“价值激励的偏好优化”（Value-Incentivized Preference Optimization，简称VPO）。这种方法特别适用于在线和离线环境中的人类反馈强化学习（Reinforcement Learning from Human Feedback，简称RLHF）。RLH... 阅读全文

Meta推出新技术Nest（Nearest Neighbor Speculative Decoding，最近邻推测解码），它旨在改善大语言模型（LLMs）在生成文本时的准确性和归因能力。大型语言模型虽然在多种任务上表现出色，但它们有时会生成与现实不符的“幻觉”内容，并且在提供生成内容的来源归因方面存在不足。 主要功能：... 阅读全文

Google DeepMind推出新型多塔解码器架构Zipper，它能够将多个在不同模态上独立预训练的生成模型融合在一起，创造出比单独模型更强大的多模态生成能力。简单来说，Zipper就像一个多才多艺的艺术家，能够把不同的艺术形式（比如语言、声音和图像）融合在一起，创作出新的艺术作品。论文还提到了Zipper的一些限制... 阅读全文

Google DeepMind推出一种新的强化学习方法DRO（Direct Reward Optimisation，直接奖励优化），用于大语言模型（LLM）的对齐。这种方法旨在改善大型语言模型的行为，使其更好地符合人类的偏好。这很重要，因为一个好的语言模型不仅需要智能，还需要能够生成对用户有帮助且安全的内容。 主要功能... 阅读全文

谷歌发布论，探讨了大语言模型（LLMs）在发展高级心理理论（Theory of Mind，ToM）方面的能力。心理理论是一种人类能力，它允许我们推理和理解自己和他人的多重心理和情感状态，并且能够递归地进行推理（例如，我认为你相信她知道）。例如，你正在开发一个虚拟助手，它需要理解用户的情感状态以提供更好的支持。如果这个虚... 阅读全文

蚂蚁集团推出新型检索增强型文本生成框架METRAG（Multi-layered Thoughts enhanced Retrieval-Augmented Generation），这个框架旨在解决现有大语言模型（LLMs）在知识密集型任务中遇到的一些问题，比如知识更新的不及时、成本问题以及生成幻觉（即生成与事实不符的内... 阅读全文

中国科学院自动化研究所、清华大学和微软亚洲研究院的研究人员推出综合性大语言模型（LLMs）对齐方法套件Xwin-LM，Xwin-LM的目标是确保这些强大的语言模型能够与人类的期望和价值观保持一致，尤其是当它们被集成到各种应用程序中并被广泛使用时。Xwin-LM是一个为大语言模型提供对齐方法的套件，它通过一系列技术手段提... 阅读全文