斯坦福大学的研究人员推出新型基准测试工具µ-Bench，它专门设计用来评估视觉-语言模型（Vision-Language Models, VLMs）在显微镜图像理解方面的表现。这类模型能够“看懂”显微镜下的图像，并且用语言描述它们所“看到”的内容，这对于生物学和生物医学研究非常重要。 项目主页：https://ale9... 阅读全文

上海人工智能实验室、香港中文大学、商汤科技集团和清华大学的研究人员推出大型视觉语言模型InternLM-XComposer-2.5（浦语·灵笔2.5），这个模型特别擅长处理需要长时间上下文输入和输出的任务。就像一个超级助手，能够理解你给它的长篇大论，无论是文字还是图片，并给出非常聪明的回答或者创作。 GitHub：ht... 阅读全文

浙江大学、蚂蚁集团和香港理工大学的研究人员推出一种新型的高效视觉投影器TokenPacker，它是为多模态大语言模型（MLLM）设计的。多模态大型语言模型是一种人工智能技术，它结合了视觉识别和语言处理的能力，可以理解和生成涉及图像和文本的内容。总的来说，TokenPacker是一个强大的工具，它通过高效地转换和打包视觉... 阅读全文

Illuin 技术、Equall.ai、巴黎-萨克雷中央高等电力学院和苏黎世联邦理工学院的研究人员推出新型文档检索系统ColPali，它利用了最新的视觉语言模型（Vision Language Models，简称VLMs）来从文档页面的图像中生成高质量的上下文嵌入（contextualized embeddings）。... 阅读全文

浙江大学、腾讯平台与内容事业群和哈尔滨工业大学的研究人员推出新基准KnowUnDo，用于更细致地评估知识忘却方法，特别是在版权内容和用户隐私领域。此外，论文还提出了MemFlex方法，它在实验中显示出在精确忘却特定知识方面优于现有方法，并能显著减少训练资源的消耗。最后，论文讨论了这种方法的局限性，并提出了未来研究的方向... 阅读全文

“Consistency Flow Matching”（Consistency-FM）这是一种新的流匹配（Flow Matching, FM）方法，一种用于生成模型的算法框架。这种方法的核心在于通过普通微分方程（ODEs）定义概率路径，从而在噪声和数据样本之间进行转换。Consistency-FM特别强调在速度场中显式... 阅读全文

微软公司和 萨里大学的研究人员推出新技术MInference（Million-tokens Inference），它旨在加速大语言模型的预填充（pre-filling）阶段，特别是在处理长文本时。预填充阶段是LLMs生成文本前的一个重要步骤，但当文本长度增加时，这一阶段的计算成本会变得非常高。 项目主页：https:/... 阅读全文

伊利诺伊大学香槟分校的研究人员推出AGENTLESS系统，它是一种基于大语言模型的软件工程自动化方法，旨在简化软件开发任务，如代码合成、程序修复和测试生成。AGENTLESS的核心思想是去掉复杂的自主软件代理（agents），这些代理过去被用来执行端到端的软件开发任务，包括使用工具、运行命令、观察环境反馈和规划未来行动... 阅读全文

 南京大学、字节跳动和南开大学的研究人员推出大规模高质量文本到视频生成数据集OpenVid-1M，以及一个新颖的多模态视频扩散变换器（MVDiT）。论文还提到了MVDiT的一些限制，比如在模拟复杂自然场景的动态和运动时可能会产生不真实的视频，以及目前还不能模拟长时间动态，这些都是未来研究需要解决的问题。 项目主页：ht... 阅读全文

香港中文大学多媒体实验室推出新方法Step-Controlled DPO（SCDPO），用于提升大语言模型（LLMs）在数学推理等下游任务上的表现。例如，我们有一个超级聪明的电脑助手，它可以理解和解决复杂的数学问题，但有时它可能会在解题过程中出错。SCDPO的作用就是帮助这个电脑助手更准确地理解问题并找到正确的解题步骤... 阅读全文

Sea推出新方法REGMIX，它将数据混合问题转化为一个回归问题来解决。简单来说，就是通过训练多个小型模型，并观察它们在不同数据混合下的表现，然后基于这些表现来预测哪些数据混合对于训练大型模型最有效。例如，我们想训练一个能够回答各种问题的语言模型。我们有来自不同领域（如科学、历史、技术）的大量文本数据。使用REGMIX... 阅读全文

厦门大学信息学院和腾讯人工智能实验室的研究人员推出一种新型的树状搜索算法——LiteSearch，它是为了提高大语言模型（LLMs）在复杂数学推理任务上的性能而设计的。在以往的研究中，树状搜索算法（例如蒙特卡洛树搜索，MCTS）已被证明可以显著提升LLMs的性能，但这些算法常常因为搜索策略上的浪费而需要超过贪婪解码10... 阅读全文