德国波茨坦大学和德国人工智能研究中心 (DFKI)的研究人员发布论文，论文的主题是研究如何评估和提升大型多模态模型（LMMs）在理解情境方面的能力。多模态模型是指那些能够同时处理文本和图像输入的人工智能模型。论文的核心观点是，尽管这些模型在文本处理方面已经取得了很大进步，但目前对于如何评估它们在结合图像信息理解情境的能... 阅读全文

新加坡科技设计大学的研究人员推出一种解码时对齐技术DARWIN，让大语言模型在生成回答时更符合用户的意图和偏好。论文还进行了实验，证明了DARWIN方法在两个广泛认可的基准测试（AlpacaEval 2和MT-Bench）上，比其他一些偏好优化和解码时对齐方法表现得更好。这就像是在一场语言模型的竞赛中，DARWIN方法... 阅读全文

韩国科学技术研究院和三星研究院的研究人员发布论文，论文的主题是探讨如何提升语言模型在规划任务中的性能，特别是那些需要多步骤模拟的复杂规划任务。研究者们从人类的认知过程获得灵感，提出了一种新的方法，通过构建一种“认知地图”（cognitive map）来增强语言模型的规划能力。论文通过在Gridworld路径规划任务中的... 阅读全文

香港大学和华为诺亚方舟实验室的研究人员发布论文，论文的主题是探讨大语言模型（LLMs）在经过安全和可靠性训练（alignment）后，为何仍然容易受到敌意攻击（adversarial attacks），特别是所谓的“越狱”（jailbreaking）现象。越狱指的是LLMs在面对精心设计的提示时，会违反预设的限制，生成... 阅读全文

Moments Lab Research发布论文，论文的主题是探讨如何将检索增强型生成（RAG）应用于大型视频库，以提高视频内容的检索和再利用效率。简单来说，就是利用人工智能技术帮助视频创作者在海量视频资料中快速找到所需片段，并生成包含具体视频时间戳的答案。 例如，你是一名视频编辑，需要制作一个关于宇航员在国际空间站（... 阅读全文

马萨诸塞大学阿默斯特分校和Meta的研究人员发布论文，论文的主题是探讨使用大语言模型（LLMs）作为评估员（或“法官”）来评价其他语言模型的表现。这个概念很有前景，因为它解决了人类评估难以扩展到大规模语言模型的问题。但是，这种方法的准确性、可靠性以及可能存在的偏见还是未知的。 例如，我们有一群学生（这里是其他的语言模型... 阅读全文

滑铁卢大学的研究人员推出新型的人工智能框架LongRAG，它用于增强检索增强型生成模型（Retrieval-Augmented Generation, RAG）在处理长文本内容时的能力。简单来说，LongRAG 通过改进传统的 RAG 框架，使其能够更有效地处理和理解大量的信息，从而提高在开放领域问答任务中的表现。 项... 阅读全文

阿里云最新力作——通义灵码，一款基于通义大模型的智能编码辅助工具，现已登陆微软Visual Studio插件市场。这款工具以其强大的实时续写、代码生成、优化、注释及智能问答等能力，支持Java、Python、Go、C++等超过200种编程语言，助力开发者提升研发效率。 通义灵码的全新里程碑 上线Visual Studi... 阅读全文

哥伦比亚大学的研究人员推出新方法“Whiteboard-of-Thought”（思维白板，简称WoT），旨在提升多模态大语言模型（MLLMs）在视觉推理方面的能力。这种方法模仿了人类在解决视觉问题时的自然行为，即通过形成心理图像或绘制视觉辅助图来转换推理方式。论文还讨论了WoT方法的局限性，比如对准确视觉系统的要求，以... 阅读全文

上海人工智能实验室、上海交通大学、香港中文大学和同济大学的研究人员推出新基准测试MMBench-Video，它是一个为视频理解而设计的长期多镜头视频问答（VideoQA）评估工具。这个基准测试旨在全面评估大型视觉语言模型（LVLMs）在视频内容理解方面的能力。通过这样的基准测试，研究人员可以评估和比较不同LVLMs在视... 阅读全文

上海人工智能实验室、南京大学、香港中文大学、同济大学、南京邮电大学和中国科学技术大学的研究人员推出新框架Prism，它专门设计用来解耦和评估视觉语言模型（VLMs）的两个关键能力：感知能力和推理能力。Prism框架的出现，是因为现有的VLMs在视觉感知和逻辑推理方面的能力往往混杂在一起，难以单独评估，而这两点对于模型的... 阅读全文

新型多模态数据集格式PIN（Paired and Interleaved multimodal documents，即配对和交错的多模态文档），这个格式旨在提升大型多模态模型（Large Multimodal Models，简称LMMs）在复杂知识驱动任务中的表现，尤其是在解读视觉数据和推理多模态关系方面。论文还提到了... 阅读全文