浙江大学、蚂蚁集团和香港理工大学的研究人员推出一种新型的高效视觉投影器TokenPacker，它是为多模态大语言模型（MLLM）设计的。多模态大型语言模型是一种人工智能技术，它结合了视觉识别和语言处理的能力，可以理解和生成涉及图像和文本的内容。总的来说，TokenPacker是一个强大的工具，它通过高效地转换和打包视觉... 阅读全文

Illuin 技术、Equall.ai、巴黎-萨克雷中央高等电力学院和苏黎世联邦理工学院的研究人员推出新型文档检索系统ColPali，它利用了最新的视觉语言模型（Vision Language Models，简称VLMs）来从文档页面的图像中生成高质量的上下文嵌入（contextualized embeddings）。... 阅读全文

浙江大学、腾讯平台与内容事业群和哈尔滨工业大学的研究人员推出新基准KnowUnDo，用于更细致地评估知识忘却方法，特别是在版权内容和用户隐私领域。此外，论文还提出了MemFlex方法，它在实验中显示出在精确忘却特定知识方面优于现有方法，并能显著减少训练资源的消耗。最后，论文讨论了这种方法的局限性，并提出了未来研究的方向... 阅读全文

“Consistency Flow Matching”（Consistency-FM）这是一种新的流匹配（Flow Matching, FM）方法，一种用于生成模型的算法框架。这种方法的核心在于通过普通微分方程（ODEs）定义概率路径，从而在噪声和数据样本之间进行转换。Consistency-FM特别强调在速度场中显式... 阅读全文

微软公司和 萨里大学的研究人员推出新技术MInference（Million-tokens Inference），它旨在加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时。预填充阶段是LLMs生成文本前的一个重要步骤，但当文本长度增加时，这一阶段的计算成本会变得非常高。 项目主页：https:/... 阅读全文

伊利诺伊大学香槟分校的研究人员推出AGENTLESS系统，它是一种基于大语言模型的软件工程自动化方法，旨在简化软件开发任务，如代码合成、程序修复和测试生成。AGENTLESS的核心思想是去掉复杂的自主软件代理（agents），这些代理过去被用来执行端到端的软件开发任务，包括使用工具、运行命令、观察环境反馈和规划未来行动... 阅读全文

 南京大学、字节跳动和南开大学的研究人员推出大规模高质量文本到视频生成数据集OpenVid-1M，以及一个新颖的多模态视频扩散变换器（MVDiT）。论文还提到了MVDiT的一些限制，比如在模拟复杂自然场景的动态和运动时可能会产生不真实的视频，以及目前还不能模拟长时间动态，这些都是未来研究需要解决的问题。 项目主页：ht... 阅读全文

香港中文大学多媒体实验室推出新方法Step-Controlled DPO（SCDPO），用于提升大语言模型（LLMs）在数学推理等下游任务上的表现。例如，我们有一个超级聪明的电脑助手，它可以理解和解决复杂的数学问题，但有时它可能会在解题过程中出错。SCDPO的作用就是帮助这个电脑助手更准确地理解问题并找到正确的解题步骤... 阅读全文

Sea推出新方法REGMIX，它将数据混合问题转化为一个回归问题来解决。简单来说，就是通过训练多个小型模型，并观察它们在不同数据混合下的表现，然后基于这些表现来预测哪些数据混合对于训练大型模型最有效。例如，我们想训练一个能够回答各种问题的语言模型。我们有来自不同领域（如科学、历史、技术）的大量文本数据。使用REGMIX... 阅读全文

厦门大学信息学院和腾讯人工智能实验室的研究人员推出一种新型的树状搜索算法——LiteSearch，它是为了提高大语言模型（LLMs）在复杂数学推理任务上的性能而设计的。在以往的研究中，树状搜索算法（例如蒙特卡洛树搜索，MCTS）已被证明可以显著提升LLMs的性能，但这些算法常常因为搜索策略上的浪费而需要超过贪婪解码10... 阅读全文

北京大学、国医学科学院、香港中文大学和阿里巴巴集团的研究人员推出新型多模态评估基准MMEVALPRO，它专门设计用来检验和校准大型多模态模型（LMMs）的评估方法，以确保评估结果既可靠又高效。例如，我们有一个问题：“图中的植物有几种不同的叶子形状？”原始答案可能是“三种”。但MMEVALPRO会进一步询问：“你能描述这... 阅读全文

北京邮电大学、 腾讯、华中科技大学和北京技术研究院的研究人员推出基准测试WE-MATH，测试大型多模态模型（Large Multimodal Models，简称LMMs）在进行数学推理时是否能达到类似人类的水平，专门用来评估这些模型在解决视觉数学问题时所遵循的解题原则，而不仅仅是最终结果。 项目主页：https://w... 阅读全文