谷歌推出针对科学论文的多模态问答数据集SPIQA，这个项目旨在帮助读者更快速地在科学论文中找到他们需要的答案，特别是那些包含复杂图表和表格的论文。例如，你是一名研究人员，正在阅读一篇关于机器学习的最新科学论文。论文中充满了复杂的图表、数据表格和专业术语。如果你想了解某个特定图表所展示的实验结果，或者想知道某个数据表格中... 阅读全文

纽约大学坦顿分校、马斯特里赫特大学、弗林德斯大学和加州大学鲁汶分校的研究人员推出GAVEL，通过进化和语言模型生成游戏。这是一个非常有趣的研究领域，因为它涉及到自动创建新颖且有趣的游戏，这对于人工智能来说是一个复杂的挑战。GAVEL是一个创新的系统，它展示了人工智能在自动游戏设计领域的潜力。例如，你有一个能够自己创造新... 阅读全文

清华大学自动化系和卡内基梅隆大学的研究人员推出“模型手术”（Model Surgery），这是一种通过直接编辑大语言模型（LLM）的一小部分参数来调节其行为的方法。这种方法特别适用于希望模型展现出某些理想行为特征，比如无毒性（non-toxicity）和抵抗越狱（jailbreak）尝试的能力。 GitHub：http... 阅读全文

MUSCLE是一种用于大语言模型（LLM）更新的策略。这些模型经常需要更新，以提高它们在处理语言任务时的表现。但问题是，每次更新后，模型的行为可能会发生变化，这可能会让用户感到困惑，因为他们已经习惯了旧版本的模型。比如，一个聊天机器人在更新后，可能会给出与之前不同的回答，这可能会让用户感到不适应。总的来说，MUSCLE... 阅读全文

H2O-Danube3是由H2O.ai公司推出的一系列小型语言模型。这些模型包括H2O-Danube3-4B和H2O-Danube3-500M，分别在6万亿（T）和4万亿个词元上进行了训练。这些模型的设计理念是能够在现代智能手机等移动设备上高效运行，实现本地推理和快速处理能力。例如，你有一个智能手机应用，需要一个能够理... 阅读全文

香港大学、上海交通大学、Google Cloud AI 研究中心、Google Deepmind、Salesforce Research、 耶鲁大学、Sea AI 实验室和滑铁卢大学的研究人员推出多模态智能代理基准测试Spider2-V，它专注于自动化数据科学和工程工作流程。随着视觉-语言模型（VLMs）在多模态理解和... 阅读全文

大连理工大学、鲁汶大学、腾讯微信和香港科技大学的研究人员推出SHERL，它旨在为资源受限的迁移学习场景提供一种高效且准确的解决方案。SHERL的核心思想是将大型预训练模型适应到下游任务中，同时显著减少可训练参数并解决微调过程中的内存挑战。通过广泛的实验验证了SHERL在多个任务和不同架构上的有效性，展示了其在资源受限环... 阅读全文

北京大学和艾伦人工智能研究所的研究人员发布论文，论文的主题是探讨大语言模型（LLMs）在生成文本时的非确定性问题。非确定性是指同样的输入在不同的生成配置下可能会产生显著不同的输出。论文的核心观点是，目前对LLMs的评估往往忽视了这种非确定性，而更多地关注单一输出结果。 GitHub：https://github.com... 阅读全文

开源工具包VLMEvalKit，它用于评估大型多模态模型。这些模型能够处理并理解多种类型的数据，比如图像、文本、音频等。VLMEvalKit基于PyTorch框架，旨在为研究人员和开发者提供一个友好、全面的框架，以便他们评估现有的多模态模型，并发布可复现的评估结果。例如，你是一名计算机视觉研究人员，你开发了一个能够识别... 阅读全文

浙江大学和 香港大学的研究人员推出OmniBind，这是一种大规模的多模态联合表示模型，能够处理包括3D、音频、图像和语言输入在内的多种数据类型。简单来说，OmniBind就像一个多语言的超级翻译器，但它不仅仅是翻译语言，它还能理解和转换不同类型的数据，比如将文字描述转换成3D模型，或者根据声音找到对应的图像。例如，你... 阅读全文

谷歌推出YouTube-SL-25，这是一个大规模、开放式的多语种手语平行语料库。简单来说，它包含了超过25种不同手语的视频，这些视频从YouTube上收集而来，并且配有相应的字幕。这个项目的目标是改善手语与文本之间的翻译，让机器更好地理解和生成手语。例如，一个听障人士想在视频会议上与他人交流，但不熟悉对方的手语，Yo... 阅读全文

德克萨斯大学奥斯汀分校、萨里大学、牛津大学、加州理工学院和Meta AI的研究人员推出“权重低秩投影”（Weight Low-Rank Projection，简称WeLore），它以一种与数据无关且一次性的方式，统一了权重压缩和内存高效微调。WeLore利用奇异值的重尾分布来识别适合LLMs中矩阵的秩减比例。除了作为压... 阅读全文