谷歌推出新型稀疏自编码器（Sparse Autoencoders, SAEs），称为JumpReLU SAEs，它用于提高语言模型（Language Model, LM）激活的重建保真度。简单来说，这种技术可以帮助我们从大量文本数据中提取出关键信息，并且以一种非常节省资源的方式表示这些信息。论文还提到了一些限制和未来的... 阅读全文

阿里巴巴和华中科技大学的研究人员推出一种新型视觉文本生成方法，称为SceneVTG（Scene Visual Text Generator），它能够在野外环境（即非受控的自然环境）中生成高质量的文本图像。这项技术特别关注于生成的文本图像需要满足三个关键标准：真实性（Fidelity）、合理性（Reasonability... 阅读全文

以色列赖希曼大学和亚马逊AWS AI 实验室的研究人员推出新型视觉文档理解方法VisFocus，它是一种无需光学字符识别（OCR）的技术，能够直接从图像中理解文档内容。这种方法特别适用于处理包含大量文本的密集文档，比如PDF文件或图像。 例如，你有一张包含许多文本的PDF文档的图像，并想知道文档中提到的某个特定信息（比... 阅读全文

快手推出一种新型高效视觉-语言模型EVLM，它是为了更好地理解视觉信息并将其与语言模型结合起来而设计的。EVLM在多模态基准测试中的竞争力表现，以及在图像字幕和视频字幕任务中的优秀性能。这表明EVLM不仅在理论上设计得很先进，而且在实际应用中也能提供很好的效果。 例如，你给EVLM一张图片，图片上有一个家庭在海滩上，父... 阅读全文

GraphRAG是由微软推出的一个基于知识图谱的检索增强生成（RAG）技术项目，旨在通过构建知识图谱来增强大语言模型（LLM）在处理复杂查询时的性能。该项目已在GitHub上开源，并迅速获得了广泛的关注和积极的评价。GraphRAG的设计理念是将非结构化的文本数据转换为结构化的图谱形式，使得模型能够更深入地挖掘数据间的... 阅读全文

芝加哥大学、伊利诺伊大学香槟分校、威斯康星大学麦迪逊分校和加州大学伯克利分校的研究人员推出AGENTPOISON，它是一种针对大语言模型（LLM）代理的红队攻击手段。这些代理通常在各种应用中表现出色，比如自动驾驶、医疗咨询和知识问答等。这些代理依赖于记忆模块或检索增强生成（RAG）机制，通过检索知识库中的过去知识和类似... 阅读全文

新型混合模型GoldFinch，它结合了线性注意力（Linear Attention）和变压器（Transformer）序列模型，以提高处理长序列数据时的性能和效率。GoldFinch通过一种新技术，能够在与序列长度成线性关系的时间和空间内，高效生成一个高度压缩且可重用的键值缓存（KV-Cache）。 GitHub：h... 阅读全文

艾伦人工智能研究所、华盛顿大学微软研究院和Samaya AI的研究人员发布论文，论文的主题是关于如何让语言模型（也就是我们常说的聊天机器人或者智能助手）学会在适当的时候说“不”。这里的“不”并不是指简单地拒绝用户的请求，而是在一些特定的情境下，模型应该能够识别并避免执行那些不合适或者不安全的请求。 GitHub：htt... 阅读全文

微信 AI 模式识别中心的研究人员推出一种新的训练方法，名为“Patch-Level Training”，用于提高大语言模型（LLMs）的训练效率。这种方法通过将多个词元（tokens）压缩成一个“补丁”（patch），从而减少序列长度，降低计算成本。例如，我们有一个句子 "The quick brown fox ju... 阅读全文

复旦大学计算机学院、上海人工智能实验室和香港中文大学的研究人员推出Case2Code，旨在训练和评估大语言模型（LLMs）进行归纳推理。归纳推理是一种认知过程，通过观察例子或序列变化来推断潜在规则。在编程领域，这意味着让计算机通过观察输入输出（I/O）转换来学习编写代码。比如，你有一个计算机程序，它可以接受一些输入并产... 阅读全文

北京航空航天大学和微软的研究人员推出新框架E5-V，，它利用多模态大语言模型（MLLMs）来实现通用的多模态嵌入（embeddings）。简单来说，E5-V可以帮助计算机更好地理解和处理图片和文字信息。比如，你给计算机一张猫的图片和一句话“一只坐在垫子上的猫”。E5-V可以帮助计算机理解图片和文字之间的关系，然后将它们... 阅读全文

LMMs-Lab 团队 和南洋理工大学的研究人员推出评估框架LMMs-Eval，它是为了全面、低成本、无污染地评估大型多模态模型（LMMs）而设计的。想象一下，你有一个非常聪明的机器人助手，它可以看图片、读文字，甚至理解复杂的数学问题。但是，你怎么知道这个机器人有多聪明呢？这就需要一些测试来评估它的各项能力。LMMs-... 阅读全文