韩国科学技术院推出新型音频表示学习模型Audio Mamba（AuM），它是基于状态空间模型（State Space Models, SSMs）构建的，与传统的基于自注意力（self-attention）机制的Transformer模型不同，AuM不依赖于计算密集型的自注意力机制。例如，我们有一段音频，我们想要识别这段... 阅读全文

韩国科学技术研究院、LG 人工智能研究和Google DeepMind的研究人员推出新型神经网络架构Block Transformer，它主要用于提升自然语言处理（NLP）任务中的推断速度。在NLP中，Transformer模型是一种非常强大的工具，它能够处理诸如语言翻译、文本摘要等任务。但传统的Transformer... 阅读全文

北京航空航天大学、上海人工智能实验室和VAST推出新型图像到3D生成框架Ouroboros3D，这个框架的核心特点是将多视角图像生成和3D重建集成到一个递归扩散过程中，通过自条件机制联合训练这两个模块，使它们能够相互适应，从而实现更稳健的推理。实验结果，证明了Ouroboros3D在生成多视角图像和3D表示的质量上优于... 阅读全文

北京交通大学和阿里巴巴集团的研究人员推出移动设备操作助手Mobile-Agent-v2，它通过多智能体（多个代理）的协作来有效导航和执行任务。这个系统是为了解决现有技术在处理移动设备操作任务时面临的两大挑战：任务进度导航和焦点内容导航。这些挑战在单一智能体架构下很难有效解决，主要是因为操作历史序列很长，且包含交错的文本... 阅读全文

德克萨斯大学奥斯汀分校和英伟达的研究人员推出大规模仿真框架RoboCasa，它是为了训练能够在日常生活环境中工作的通用机器人代理而设计的。RoboCasa的核心是提供一个现实且多样化的厨房环境，它包含了大量的3D资产、不同的任务以及超过100,000条轨迹的大型训练数据集。论文还提到了实验结果，显示了使用仿真生成的机器... 阅读全文

Google DeepMind发布论文，主题是探讨如何在大语言模型（LLMs）中量化不确定性，特别是当我们需要判断模型给出的回答是否可靠时。研究者们区分了两种不确定性：认识不确定性（epistemic uncertainty）和随机不确定性（aleatoric uncertainty）。认识不确定性来源于对真实情况（比... 阅读全文

Cohere推出一种新型的人工智能（AI）优化方法，名为“自我改进的鲁棒偏好优化”（Self-Improving Robust Preference Optimization，简称SRPO）。这种方法主要针对的是让AI系统通过学习人类的偏好来提升其性能，同时确保其在面对不同类型的任务时都能保持稳定和鲁棒的表现。 主要功... 阅读全文

智谱 AI推出的最新一代预训练模型 GLM-4 系列中的开源版本GLM-4-9B 。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏... 阅读全文

蒙特利尔大学、蒙特利尔康考迪亚大学、三星-SAIT AI 实验室的研究人员发布论文，论文的主题是关于提高学习优化器（Learned Optimizers, LOs）的泛化能力，特别是在进行大规模神经网络训练时。学习优化器是一种特殊的神经网络，它能够学习如何更有效地训练其他神经网络。这项技术的目标是减少训练大型神经网络所... 阅读全文

牛津大学和Google DeepMind的研究人员发布论文，主题是探讨在强化学习（Reinforcement Learning, RL）中如何实现人工文化积累（Artificial Cultural Accumulation）。文化积累是指知识和技能随着时间的推移而不断增长的过程，这一过程在人类历史中推动了能力的开放性... 阅读全文

斯坦福大学的研究团队发布论文，主题是关于如何让大语言模型（LLMs）更好地适应特定用户或任务的需求。大型语言模型通常被训练成通用工具，但实际应用时，用户往往需要它们完成非常具体和个性化的任务。例如，写一封电子邮件，不同的人可能会有不同的写作风格和内容需求。然而，这些模型生成的输出往往显得过于笼统和缺乏个性，因为它们被设... 阅读全文

滑铁卢大学、多伦多大学和卡内基梅隆大学的研究人员推出新型语言理解基准测试MMLU-Pro，它不仅能够更准确地衡量AI模型的语言理解能力，还能推动AI技术在语言处理方面的发展。例如，我们有一群非常聪明的机器人，它们擅长理解和处理人类的语言。但是，我们需要一种方法来测试这些机器人有多聪明，这就是基准测试的作用。 主题介绍：... 阅读全文