复旦大学计算机学院、上海人工智能实验室和香港中文大学的研究人员推出Case2Code，旨在训练和评估大语言模型（LLMs）进行归纳推理。归纳推理是一种认知过程，通过观察例子或序列变化来推断潜在规则。在编程领域，这意味着让计算机通过观察输入输出（I/O）转换来学习编写代码。比如，你有一个计算机程序，它可以接受一些输入并产... 阅读全文

北京航空航天大学和微软的研究人员推出新框架E5-V，，它利用多模态大语言模型（MLLMs）来实现通用的多模态嵌入（embeddings）。简单来说，E5-V可以帮助计算机更好地理解和处理图片和文字信息。比如，你给计算机一张猫的图片和一句话“一只坐在垫子上的猫”。E5-V可以帮助计算机理解图片和文字之间的关系，然后将它们... 阅读全文

LMMs-Lab 团队 和南洋理工大学的研究人员推出评估框架LMMs-Eval，它是为了全面、低成本、无污染地评估大型多模态模型（LMMs）而设计的。想象一下，你有一个非常聪明的机器人助手，它可以看图片、读文字，甚至理解复杂的数学问题。但是，你怎么知道这个机器人有多聪明呢？这就需要一些测试来评估它的各项能力。LMMs-... 阅读全文

Nolano AI、蒙特利尔大学、印度理工学院 Kharagpur 分校、魁北克 AI 研究所和加州大学河滨分校的研究人员推出大语言模型（LLM）套件Spectra，这些模型经过了量化处理，以解决在大型语言模型推理过程中遇到的内存瓶颈问题。想象一下，你的电脑或手机在处理一些非常复杂的任务时，比如翻译语言或回答问题，可能... 阅读全文

巴黎综合理工学院和Adob​​e 研究中心的研究人员推出新技术RRM，可以让我们在不同的光照条件下重新渲染3D场景。这在计算机图形学和虚拟现实中非常有用，因为它允许我们更真实地模拟和观察场景在不同光照条件下的外观。例如，你有一个3D模型的房间，里面有各种家具和装饰品。通常，当你在计算机中渲染这个场景时，你需要设定光照条... 阅读全文

哥本哈根大学计算机科学系、里斯本大学高等技术学院 和Comcast 应用人工智能的研究人员发布论文，论文讨论的是“检索增强型图像描述生成模型的鲁棒性”。简单来说，就是研究一种可以通过查找相关信息来帮助生成图像描述的人工智能模型。这种模型的特别之处在于，它不仅仅是自己“想”出描述，而是会先去“查找”一些已经存在的描述，然... 阅读全文

哥伦比亚大学电气工程系的研究人员推出Speech Slytherin，探讨了一种新型的序列模型Mamba，并将其应用于语音处理的三个关键任务：语音分离、自动语音识别（ASR）和文本到语音合成（TTS）。Mamba是一种新型的序列模型，它与传统的变换器（transformer）模型相比，可能在某些方面有更好的性能和更高的... 阅读全文

卡内基·梅隆大学的研究人员推出StyleSplat，这是一种将艺术风格应用到3D场景中的方法，使得3D模型能够呈现出不同的艺术效果。它能够将你选择的艺术风格应用到3D场景中的特定对象上，而不影响场景中的其他部分。例如，你正在制作一个关于森林的场景，你想让森林中的树木看起来像是用油画风格绘制的，而地面则保持现实主义风格。... 阅读全文

谷歌推出针对科学论文的多模态问答数据集SPIQA，这个项目旨在帮助读者更快速地在科学论文中找到他们需要的答案，特别是那些包含复杂图表和表格的论文。例如，你是一名研究人员，正在阅读一篇关于机器学习的最新科学论文。论文中充满了复杂的图表、数据表格和专业术语。如果你想了解某个特定图表所展示的实验结果，或者想知道某个数据表格中... 阅读全文

纽约大学坦顿分校、马斯特里赫特大学、弗林德斯大学和加州大学鲁汶分校的研究人员推出GAVEL，通过进化和语言模型生成游戏。这是一个非常有趣的研究领域，因为它涉及到自动创建新颖且有趣的游戏，这对于人工智能来说是一个复杂的挑战。GAVEL是一个创新的系统，它展示了人工智能在自动游戏设计领域的潜力。例如，你有一个能够自己创造新... 阅读全文

清华大学自动化系和卡内基梅隆大学的研究人员推出“模型手术”（Model Surgery），这是一种通过直接编辑大语言模型（LLM）的一小部分参数来调节其行为的方法。这种方法特别适用于希望模型展现出某些理想行为特征，比如无毒性（non-toxicity）和抵抗越狱（jailbreak）尝试的能力。 GitHub：http... 阅读全文

MUSCLE是一种用于大语言模型（LLM）更新的策略。这些模型经常需要更新，以提高它们在处理语言任务时的表现。但问题是，每次更新后，模型的行为可能会发生变化，这可能会让用户感到困惑，因为他们已经习惯了旧版本的模型。比如，一个聊天机器人在更新后，可能会给出与之前不同的回答，这可能会让用户感到不适应。总的来说，MUSCLE... 阅读全文