新加坡国立大学和Meta的研究人员推出在线视频大型语言模型VideoLLM-online，它专为流媒体视频设计，能够实时理解和生成与视频内容相关的对话。例如，你戴着一副智能眼镜，而这副眼镜能够实时分析你看到的场景，并与你进行交流，比如在你做饭的时候告诉你下一步该做什么，或者在你观看教学视频时回答你的问题，这就是Vide... 阅读全文

马里兰大学帕克分校的研究人员推出大型图像描述数据集PixelProse，PixelProse包含了超过1600万个由先进的视觉-语言模型自动生成的图像描述。例如，一个艺术家想要了解他的画作在视觉上给人的感受，PixelProse可以帮助分析图像的美学属性并生成描述，这样艺术家就可以得到关于作品可能给观众带来的情感体验的... 阅读全文

上海人工智能实验室OpenGVLab、复旦大学、清华大学、香港中文大学、南京大学、商汤科技研究院和香港大学的研究人员推出新基准测试MM-NIAH，专门用来评估多模态大语言模型（MLLMs）理解长篇多模态文档的能力。例如，我们有一个包含多个图像和文本段落的长文档，其中描述了一个病例。MM-NIAH基准测试要求模型在文档中... 阅读全文

上海人工智能实验室、哈尔滨工业大学、南京大学、复旦大学、香港中文大学、商汤科技研究院和清华大学的研究团队推出大规模多模态数据集OmniCorpus，它包含了十亿级别的图像和文本数据，这些数据以自然文档的格式排列，模仿了互联网数据的呈现方式，也符合人类的阅读习惯。这个数据集的建立旨在推动多模态大型语言模型（MLLMs）的... 阅读全文

微软发布论文，论文的主题是探讨大语言模型（LLMs）在医学问题回答中的鲁棒性，即这些模型在面对现实世界临床环境时，其性能是否能够稳定地泛化。论文的核心观点是，尽管LLMs在医学问题回答的基准测试中表现出色，但这并不意味着它们在真实的临床环境中也能同样表现良好。基准测试通常基于某些假设，而这些假设在现实世界中可能并不成立... 阅读全文

谷歌发布论文，论文的主题是提升大语言模型（LLMs）在数学推理方面的表现。例如，你有一个大型语言模型助手，你问它“一个篮子里有5个苹果，我拿走了2个，篮子里还有几个？”一个普通的助手可能会简单地回答“3个”。但是，如果你使用了一个经过OmegaPRM算法训练的高级助手，它可能会这样回答：“首先，我们知道篮子里原本有5个... 阅读全文

康乃尔科技校区推出一种新型的语言模型MDLM（简单高效的掩蔽扩散语言模型）。这种模型在生成文本方面表现出色，特别是在与自回归（AR）方法相比时，显示出了更好的性能。通过对比实验展示了MDLM在多个语言模型基准测试中的性能，并且提供了代码链接，供研究者进一步探索和使用。 项目主页：https://s-sahoo.com/... 阅读全文

昆仑万维旗下天工AI发布大语言模型（LLM）训练技术Skywork-MoE，Skywork-MoE是一个具有1460亿参数和16个专家的高性能混合专家（Mixture-of-Experts，简称MoE）模型。这个模型是从Skywork-13B模型的密集型检查点初始化而来的。通过实验结果表明，Skywork-MoE在多个... 阅读全文

来自微软和OpenAI领衔多所大学的研究人员发布论文，论文的主题是关于“提示技术”（Prompting Techniques）在生成式AI（Generative AI，简称GenAI）系统中的应用和研究。简单来说，提示技术是一种与人工智能系统交流的方法，通过给AI一个“提示”或“指令”，让它根据这个提示来生成回答或者完... 阅读全文

复旦大学和上海AI实验室发布MCT Self-Refine（MCTSr）算法，它是一种将大语言模型（LLMs）与蒙特卡洛树搜索（MCTS）结合起来的创新方法，旨在提高解决复杂数学问题的性能。这种方法特别针对大型语言模型在策略性思维和数学推理中的准确性和可靠性问题，通过系统化的探索和启发式自我改进机制，改善了LLMs内部... 阅读全文

上海人工智能实验室OpenGVLab、香港大学、南京大学、哈尔滨工业大学和上海交通大学的研究人员推出综合数据集GUI Odyssey，它旨在训练和评估跨应用（Cross-App）图形用户界面（GUI）导航代理。这些代理能够模拟用户与智能手机应用的交互，以自动化完成一些任务，从而提高用户体验。研究团队还推出Odyssey... 阅读全文

上海人工智能实验室、新加坡国立大学、香港大学、威斯康星大学麦迪逊分校和加州大学圣地亚哥分校的研究人员推出T2VHE协议，重新思考文本到视频（Text-to-Video，简称T2V）模型的人类评估协议，目的是提高评估的可靠性、可重复性和实用性。随着T2V技术的发展，比如Gen2、Pika和Sora等模型的出现，如何有效地... 阅读全文