以色列赖希曼大学和亚马逊AWS AI 实验室的研究人员推出新型视觉文档理解方法VisFocus，它是一种无需光学字符识别（OCR）的技术，能够直接从图像中理解文档内容。这种方法特别适用于处理包含大量文本的密集文档，比如PDF文件或图像。 例如，你有一张包含许多文本的PDF文档的图像，并想知道文档中提到的某个特定信息（比... 阅读全文

快手推出一种新型高效视觉-语言模型EVLM，它是为了更好地理解视觉信息并将其与语言模型结合起来而设计的。EVLM在多模态基准测试中的竞争力表现，以及在图像字幕和视频字幕任务中的优秀性能。这表明EVLM不仅在理论上设计得很先进，而且在实际应用中也能提供很好的效果。 例如，你给EVLM一张图片，图片上有一个家庭在海滩上，父... 阅读全文

GraphRAG是由微软推出的一个基于知识图谱的检索增强生成（RAG）技术项目，旨在通过构建知识图谱来增强大语言模型（LLM）在处理复杂查询时的性能。该项目已在GitHub上开源，并迅速获得了广泛的关注和积极的评价。GraphRAG的设计理念是将非结构化的文本数据转换为结构化的图谱形式，使得模型能够更深入地挖掘数据间的... 阅读全文

芝加哥大学、伊利诺伊大学香槟分校、威斯康星大学麦迪逊分校和加州大学伯克利分校的研究人员推出AGENTPOISON，它是一种针对大语言模型（LLM）代理的红队攻击手段。这些代理通常在各种应用中表现出色，比如自动驾驶、医疗咨询和知识问答等。这些代理依赖于记忆模块或检索增强生成（RAG）机制，通过检索知识库中的过去知识和类似... 阅读全文

新型混合模型GoldFinch，它结合了线性注意力（Linear Attention）和变压器（Transformer）序列模型，以提高处理长序列数据时的性能和效率。GoldFinch通过一种新技术，能够在与序列长度成线性关系的时间和空间内，高效生成一个高度压缩且可重用的键值缓存（KV-Cache）。 GitHub：h... 阅读全文

艾伦人工智能研究所、华盛顿大学微软研究院和Samaya AI的研究人员发布论文，论文的主题是关于如何让语言模型（也就是我们常说的聊天机器人或者智能助手）学会在适当的时候说“不”。这里的“不”并不是指简单地拒绝用户的请求，而是在一些特定的情境下，模型应该能够识别并避免执行那些不合适或者不安全的请求。 GitHub：htt... 阅读全文

微信 AI 模式识别中心的研究人员推出一种新的训练方法，名为“Patch-Level Training”，用于提高大语言模型（LLMs）的训练效率。这种方法通过将多个词元（tokens）压缩成一个“补丁”（patch），从而减少序列长度，降低计算成本。例如，我们有一个句子 "The quick brown fox ju... 阅读全文

复旦大学计算机学院、上海人工智能实验室和香港中文大学的研究人员推出Case2Code，旨在训练和评估大语言模型（LLMs）进行归纳推理。归纳推理是一种认知过程，通过观察例子或序列变化来推断潜在规则。在编程领域，这意味着让计算机通过观察输入输出（I/O）转换来学习编写代码。比如，你有一个计算机程序，它可以接受一些输入并产... 阅读全文

北京航空航天大学和微软的研究人员推出新框架E5-V，，它利用多模态大语言模型（MLLMs）来实现通用的多模态嵌入（embeddings）。简单来说，E5-V可以帮助计算机更好地理解和处理图片和文字信息。比如，你给计算机一张猫的图片和一句话“一只坐在垫子上的猫”。E5-V可以帮助计算机理解图片和文字之间的关系，然后将它们... 阅读全文

LMMs-Lab 团队 和南洋理工大学的研究人员推出评估框架LMMs-Eval，它是为了全面、低成本、无污染地评估大型多模态模型（LMMs）而设计的。想象一下，你有一个非常聪明的机器人助手，它可以看图片、读文字，甚至理解复杂的数学问题。但是，你怎么知道这个机器人有多聪明呢？这就需要一些测试来评估它的各项能力。LMMs-... 阅读全文

Nolano AI、蒙特利尔大学、印度理工学院 Kharagpur 分校、魁北克 AI 研究所和加州大学河滨分校的研究人员推出大语言模型（LLM）套件Spectra，这些模型经过了量化处理，以解决在大型语言模型推理过程中遇到的内存瓶颈问题。想象一下，你的电脑或手机在处理一些非常复杂的任务时，比如翻译语言或回答问题，可能... 阅读全文

哥本哈根大学计算机科学系、里斯本大学高等技术学院 和Comcast 应用人工智能的研究人员发布论文，论文讨论的是“检索增强型图像描述生成模型的鲁棒性”。简单来说，就是研究一种可以通过查找相关信息来帮助生成图像描述的人工智能模型。这种模型的特别之处在于，它不仅仅是自己“想”出描述，而是会先去“查找”一些已经存在的描述，然... 阅读全文