新型混合模型GoldFinch，它结合了线性注意力（Linear Attention）和变压器（Transformer）序列模型，以提高处理长序列数据时的性能和效率。GoldFinch通过一种新技术，能够在与序列长度成线性关系的时间和空间内，高效生成一个高度压缩且可重用的键值缓存（KV-Cache）。 GitHub：h... 阅读全文

Meta、索邦大学、耶路撒冷希伯来大学 和Kyutai的研究人员发布论文，论文的主题是关于音乐生成的新方法，特别是如何通过音频输入来控制音乐的风格。例如，你有一个贝多芬的钢琴奏鸣曲的片段，你想让AI生成一首新的钢琴曲，听起来和贝多芬的风格相似。这篇论文介绍的方法可以帮助你实现这个目标。你只需要给AI提供这个贝多芬的片段... 阅读全文

阿卜杜拉国王科技大学和瑞士人工智能实验室推出Goldfish，它专门用来理解和处理非常长的视频内容。你有一个好几个小时的视频，比如一部电影或电视剧，你想知道里面某个特定场景的细节，但是从头到尾看完实在太费时间了。Goldfish就是来帮你解决这个问题的。比如，你正在看《老友记》的一个片段，你想知道罗斯从菲比那里拿走了什... 阅读全文

艾伦人工智能研究所、华盛顿大学微软研究院和Samaya AI的研究人员发布论文，论文的主题是关于如何让语言模型（也就是我们常说的聊天机器人或者智能助手）学会在适当的时候说“不”。这里的“不”并不是指简单地拒绝用户的请求，而是在一些特定的情境下，模型应该能够识别并避免执行那些不合适或者不安全的请求。 GitHub：htt... 阅读全文

多伦多大学、 Vector Institute 、Snap和SFU的研究人员推出新方法VD3D（Video Diffusion 3D），它可以让大型视频扩散变换器（Video Diffusion Transformers）更好地控制3D摄像机的运动，从而在文本到视频生成的过程中实现更精细的控制。例如，你有一个神奇的相机... 阅读全文

微信 AI 模式识别中心的研究人员推出一种新的训练方法，名为“Patch-Level Training”，用于提高大语言模型（LLMs）的训练效率。这种方法通过将多个词元（tokens）压缩成一个“补丁”（patch），从而减少序列长度，降低计算成本。例如，我们有一个句子 "The quick brown fox ju... 阅读全文

复旦大学计算机学院、上海人工智能实验室和香港中文大学的研究人员推出Case2Code，旨在训练和评估大语言模型（LLMs）进行归纳推理。归纳推理是一种认知过程，通过观察例子或序列变化来推断潜在规则。在编程领域，这意味着让计算机通过观察输入输出（I/O）转换来学习编写代码。比如，你有一个计算机程序，它可以接受一些输入并产... 阅读全文

北京航空航天大学和微软的研究人员推出新框架E5-V，，它利用多模态大语言模型（MLLMs）来实现通用的多模态嵌入（embeddings）。简单来说，E5-V可以帮助计算机更好地理解和处理图片和文字信息。比如，你给计算机一张猫的图片和一句话“一只坐在垫子上的猫”。E5-V可以帮助计算机理解图片和文字之间的关系，然后将它们... 阅读全文

LMMs-Lab 团队 和南洋理工大学的研究人员推出评估框架LMMs-Eval，它是为了全面、低成本、无污染地评估大型多模态模型（LMMs）而设计的。想象一下，你有一个非常聪明的机器人助手，它可以看图片、读文字，甚至理解复杂的数学问题。但是，你怎么知道这个机器人有多聪明呢？这就需要一些测试来评估它的各项能力。LMMs-... 阅读全文

Nolano AI、蒙特利尔大学、印度理工学院 Kharagpur 分校、魁北克 AI 研究所和加州大学河滨分校的研究人员推出大语言模型（LLM）套件Spectra，这些模型经过了量化处理，以解决在大型语言模型推理过程中遇到的内存瓶颈问题。想象一下，你的电脑或手机在处理一些非常复杂的任务时，比如翻译语言或回答问题，可能... 阅读全文

巴黎综合理工学院和Adob​​e 研究中心的研究人员推出新技术RRM，可以让我们在不同的光照条件下重新渲染3D场景。这在计算机图形学和虚拟现实中非常有用，因为它允许我们更真实地模拟和观察场景在不同光照条件下的外观。例如，你有一个3D模型的房间，里面有各种家具和装饰品。通常，当你在计算机中渲染这个场景时，你需要设定光照条... 阅读全文

哥本哈根大学计算机科学系、里斯本大学高等技术学院 和Comcast 应用人工智能的研究人员发布论文，论文讨论的是“检索增强型图像描述生成模型的鲁棒性”。简单来说，就是研究一种可以通过查找相关信息来帮助生成图像描述的人工智能模型。这种模型的特别之处在于，它不仅仅是自己“想”出描述，而是会先去“查找”一些已经存在的描述，然... 阅读全文