北京通用人工智能研究院、通用人工智能国家重点实验室、北京大学和加州大学圣克鲁斯分校推出全面基准测试工具VideoHallucer，专门用来检测和评估LVLMs在视频理解任务中的幻觉问题。所谓“幻觉”，指的是这些模型在理解视频内容时，可能会生成与实际视频内容不符、无关或无意义的信息，这种现象可能会误导用户。VideoHa... 阅读全文

LMMs 实验室团队、 新加坡南洋理工大学和新加坡科技大学的研究人员推出Long Video Assistant（LongVA）模型，让大型多模态模型（LMMs）更好地理解和处理非常长的视频序列。这里的“长视频”指的是视频帧数很多，可能达到数千帧。以往的模型在处理这类视频时会遇到困难，因为它们的视觉编码器会产生大量的视... 阅读全文

Pico、德克萨斯大学奥斯汀分校和加州大学洛杉矶分校的研究人员推出4K4DGen，它能够将静态全景图像转换成4K分辨率的4D（即具有时间和空间维度）动态场景。这项技术对于虚拟现实（VR）和增强现实（AR）应用来说是一个巨大的突破，因为它提供了一种新的方式来创造沉浸式和动态的环境。目前4K4DGen的局限性，比如当前技术... 阅读全文

新方法ToVo（Toxicity Taxonomy via Voting），它旨在通过投票机制和思维链（Chain-of-Thought）过程来创建一个开源的、高质量的数据集，用于检测和分类有害内容（toxic content）。这种方法特别关注提高现有有害内容检测模型的透明度、可定制性和可复现性。论文还讨论了ToVo... 阅读全文

一种新的机器翻译方法MeritFed，它基于个性化联邦学习（Personalized Federated Learning）算法，专门针对低资源语言（Low-Resource Languages，简称LRLs）的翻译任务。低资源语言通常缺乏足够的数据来训练高效的机器翻译模型。MeritFed算法的核心思想是，即使在不同... 阅读全文

新框架“多模态结构化生成”（Multimodal Structured Generation），它用于改进多模态基础模型（Multimodal Foundation Models，简称MMFMs）在特定任务上的表现，尤其是文档理解方面。MMFMs是结合了不同模态（如视觉和语言）的预训练基础模型，虽然在多种任务上表现出色... 阅读全文

新框架NAVSIM是一个用于自动驾驶车辆模拟和基准测试的数据驱动工具。NAVSIM特别关注于评估基于视觉的驾驶策略，这些策略试图让自动驾驶车辆能够理解和响应它们周围的世界。NAVSIM在CVPR 2024上举办的一个竞赛，吸引了来自世界各地的团队提交了多种方法，展示了NAVSIM在推动自动驾驶研究方面的潜力。此外，论文... 阅读全文

约翰霍普金斯大学的研究人员推出一种改进信息检索（IR）的方法，称为"RE-AdaptIR"，即通过逆向工程适应（Reverse Engineered Adaptation）来提升信息检索的效果。这种方法特别适用于大型语言模型（LLMs），这些模型在经过微调后能够在多个信息检索基准测试中取得最先进的结果。但问题是，这种监... 阅读全文

滑铁卢大学、清华大学、Stardust.AI、多伦多大学和AI2的研究人员推出自动视频质量评估工具MANTISSCORE，自动评估视频生成的质量。随着人工智能技术的发展，尤其是文本到视频（Text-to-Video, T2V）生成模型的快速进步，我们需要一种可靠的方法来评估这些由AI生成的视频的质量。但是，现有的评估指... 阅读全文

东京大学和 RIKEN的研究人员推出一种新颖的方法STYLE-NERF2NERF，用于将二维图像的风格转换应用到三维场景中。简单来说，就是让3D场景看起来具有某种特定的艺术风格，比如印象派画作或流行艺术。论文还提到了这种方法的一些限制，比如对于细节结构如植物和树木的重建可能存在挑战，以及对于训练图像中变化较大的对象（如... 阅读全文

德国波茨坦大学和德国人工智能研究中心 (DFKI)的研究人员发布论文，论文的主题是研究如何评估和提升大型多模态模型（LMMs）在理解情境方面的能力。多模态模型是指那些能够同时处理文本和图像输入的人工智能模型。论文的核心观点是，尽管这些模型在文本处理方面已经取得了很大进步，但目前对于如何评估它们在结合图像信息理解情境的能... 阅读全文

新加坡科技设计大学的研究人员推出一种解码时对齐技术DARWIN，让大语言模型在生成回答时更符合用户的意图和偏好。论文还进行了实验，证明了DARWIN方法在两个广泛认可的基准测试（AlpacaEval 2和MT-Bench）上，比其他一些偏好优化和解码时对齐方法表现得更好。这就像是在一场语言模型的竞赛中，DARWIN方法... 阅读全文