北京大学、国医学科学院、香港中文大学和阿里巴巴集团的研究人员推出新型多模态评估基准MMEVALPRO，它专门设计用来检验和校准大型多模态模型（LMMs）的评估方法，以确保评估结果既可靠又高效。例如，我们有一个问题：“图中的植物有几种不同的叶子形状？”原始答案可能是“三种”。但MMEVALPRO会进一步询问：“你能描述这... 阅读全文

北京邮电大学、 腾讯、华中科技大学和北京技术研究院的研究人员推出基准测试WE-MATH，测试大型多模态模型（Large Multimodal Models，简称LMMs）在进行数学推理时是否能达到类似人类的水平，专门用来评估这些模型在解决视觉数学问题时所遵循的解题原则，而不仅仅是最终结果。 项目主页：https://w... 阅读全文

上海交通大学和上海人工智能实验室的研究人员推出新的评估指标RaTEScore，专门用来衡量由AI模型生成的医学报告的质量。这个指标特别关注医学报告中的关键医疗实体，如诊断结果和解剖细节，并且对于复杂的医学同义词有很强的鲁棒性，对否定表达也很敏感。新基准测试RaTE-Eval，它包括三个子任务：句子级人类评分、段落级人类... 阅读全文

新型智能体∆-IRIS，它使用了一个高效的世界模型架构来模拟环境并学习新行为。这个模型特别适合于深度强化学习（Deep Reinforcement Learning, RL），这是一种让机器通过与环境交互来自主学习的方法。∆-IRIS在训练速度上比之前的注意力机制方法快了一个数量级，这使得它在需要处理大量数据和复杂环境... 阅读全文

爱荷华州立大学、纽约大学和亚利桑那大学的研究人员推出大型多模态数据集ARBORETUM，它是为了推动生物多样性应用的AI发展而设计的。论文还提到了基于ARBORETUM数据集训练的一些新模型，称为ARBORCLIP，这些模型在多种图像分类任务上展现出了优秀的性能。研究者希望这个数据集能够激发更多AI模型的发展，以支持从... 阅读全文

中国科学院自动化研究所、中国科学院大学人工智能学院和微软的研究人员推出新框架AutoRAG-HP，它是为了提高大语言模型（LLMs）在检索增强型生成（RAG）系统中的超参数调优效率而设计的。例如，你有一个非常智能的助手，它可以写文章、回答问题，甚至帮你处理各种语言任务，但为了让它表现得更好，你需要调整一些设置，这些设置... 阅读全文

上海交通大学、清华大学、微软研究院和香港中文大学的研究人员推出一种新型的知识蒸馏（Knowledge Distillation, KD）方法，称为直接偏好知识蒸馏（Direct Preference Knowledge Distillation, DPKD），专门为大型语言模型（Large Language Model... 阅读全文

腾讯西雅图人工智能实验室推出一种新颖的、由角色驱动的数据合成方法，该方法利用大语言模型（LLM）中的多种视角来创建多样化的合成数据。研究人员推出了一个名为“Persona Hub”的系统，它自动从网络数据中整理出10亿个不同的角色（约占世界总人口的13%）。这些角色作为世界知识的分布式载体，能够触及LLM中包含的几乎所... 阅读全文

深圳市大数据研究院、香港中文大学（深圳）和国家健康数据研究院（深圳）的研究人员推出多模态大语言模型HuatuoGPT-Vision，它专门设计用来处理医学视觉知识，并将其注入到现有的多模态大型语言模型中。简单来说，HuatuoGPT-Vision就像是一个学习了大量医学图像和文本资料的智能助手，它能理解医学图像的内容，... 阅读全文

米兰比可卡大学和格罗宁根大学的研究人员推出Dyn（动态激活组合，Dynamic Activation Composition），用于在生成过程中动态调整一个或多个属性的引导强度。如何有效地控制和引导大型语言模型（LLMs）的生成过程，以确保输出符合特定的属性要求，同时保持语言的流畅性。通过这种方式，Dyn方法能够在确保... 阅读全文

复旦大学和新加坡国立大学的研究人员推出跨模态基准测试SIUO，如何确保当人工智能（尤其是具有视觉和语言能力的大模型，即LVLMs）在处理跨模态（例如图像和文本）输入时，其输出是安全和符合道德的。随着人工智能在人类生活中越来越普及，这项研究的重要性日益凸显。 项目主页：https://sinwang20.github.i... 阅读全文

卡内基梅隆大学的研究团队推出新技术GRASS（GRAdient Structured Sparsification），它是一种用于训练大语言模型（LLMs）的高效优化方法。GRASS的核心在于利用结构化稀疏梯度来减少训练过程中所需的内存和计算资源，从而提高训练大型语言模型的效率和可扩展性。论文还提到了GRASS的一些实... 阅读全文