滑铁卢大学推出新型信息检索范式“文档截图嵌入”（Document Screenshot Embedding，简称DSE），DSE在实验中表现出与传统文本检索方法（如BM25）相比更高的检索准确性，并且在混合模态任务中也显示出其有效性。这表明DSE是一个有效的文档检索范式，适用于多种类型的文档。 例如，你正在寻找某个文档... 阅读全文

华盛顿大学和艾伦人工智能研究所的研究人员推出新型方法MAGPIE，它能够从大语言模型中合成高质量的指令数据。例如，你有一个非常聪明的助手，但它需要一些具体的指令来完成特定的任务。MAGPIE就像是一个能够教这个助手如何更好地理解并执行任务的系统。你想让一个语言模型学会如何回答有关健康饮食的问题。使用MAGPIE，你可以... 阅读全文

新型基准测试MMWorld，它是为了全面评估多模态大语言模型（MLLMs）在视频理解方面的能力而设计的。MLLMs是一类能够处理和理解图像、文本和视频等多种模态输入的人工智能模型。MMWorld通过提供丰富的视频内容和相关问题，挑战模型在解释、反事实思考、未来预测和领域专业知识等方面的多方面推理能力。 项目主页：htt... 阅读全文

阿里巴巴集团达摩院推出视频大语言模型VideoLLaMA 2，它是为了提升视频和音频导向任务中的空间-时间建模和音频理解能力而设计的。例如，你想让一个人工智能系统观看一段视频并回答有关视频内容的问题，或者描述视频中的场景，这就需要模型能够理解视频中的运动、物体以及它们随时间的变化，同时还得理解视频中的音频信息。Vide... 阅读全文

康奈尔大学计算机科学系和纽约大学格罗斯曼医学院的研究人员推出新型二维状态空间模型Chimera，它专门用于有效建模多变量时间序列数据。这类数据广泛存在于医疗保健、金融市场、能源管理等领域。例如，你是一名医生，需要分析患者的心电图数据来诊断心脏状况。Chimera可以帮助你快速理解数据中的复杂模式和趋势，从而提供更准确的... 阅读全文

上海交通大学并行与分布式系统研究所（IPADS）、清华大学计算机科学与技术系和上海人工智能实验室的研究人员推出新颖方法Turbo Sparse，能够在保持模型性能的同时，显著减少每次推理迭代中激活的参数数量。提高大型语言模型（LLMs）在推理（inference）过程中的效率，特别是针对那些参数量巨大的模型。通过使用T... 阅读全文

上海交通大学推出PowerInfer-2，它的主要目标是在智能手机上实现大语言模型（LLMs）的高速推理，特别是对于那些模型大小超出设备内存容量的情况。PowerInfer-2是第一个能够在智能手机上以每秒11.68个token的速度运行TurboSparse-Mixtral-47B模型的系统，这是一个具有47亿参数的... 阅读全文

通用人工智能国家重点实验室 BIGAI、北京大学推出新方法“Consistent In-Context Editing”（简称ICE），旨在解决大语言模型在知识编辑场景中的脆弱性问题。在这些场景中，模型需要在不进行大量重新训练的情况下，整合新信息。传统的微调方法在这种情况下往往会导致过拟合、性能下降和不自然的语言表达。... 阅读全文

摩根大通人工智能研究推出一个名为“HiddenTables”的合作游戏和数据集“PyQTax”，旨在解决大语言模型（LLMs）在处理表格问答（TableQA）任务时面临的挑战，同时确保数据隐私和规模化应用。例如，有一个包含员工信息的数据表，Oracle知道这个表的结构，但Solver不知道具体内容。用户问：“出生于19... 阅读全文

多语言多模态数据集中心和基准测试套件SEACrowd，它专注于东南亚语言。东南亚是一个语言和文化极其丰富多样的地区，拥有超过1300种本土语言和约6.71亿人口。然而，现有的人工智能（AI）模型在处理这些语言时面临着数据不足的问题，这限制了AI模型在东南亚语言上的表现。例如，一个研究者想要开发一个能够理解印尼语用户评论... 阅读全文

新加坡国立大学和 微软的研究人员推出新型基准测试VideoGUI，它专门用于评估图形用户界面（GUI）自动化助手。GUI自动化是指让计算机程序自动执行图形界面中的操作，比如点击按钮、输入文字、拖拽对象等，这在很多领域都有广泛的应用前景，比如提高办公效率、简化网页浏览等。 项目主页：https://showlab.git... 阅读全文

测试平台DCLM旨在通过控制数据集实验来改进语言模型。DCLM提供了一个标准化的语料库、有效的预训练配方以及一系列下游评估方法，让研究人员能够在不同的模型规模下测试不同的数据策划策略。例如，我们想要训练一个能够理解和生成人类语言的智能系统，比如一个能够回答问题或写文章的人工智能。为了做到这一点，我们需要给这个系统提供大... 阅读全文