艾伦人工智能研究所、华盛顿大学微软研究院和Samaya AI的研究人员发布论文，论文的主题是关于如何让语言模型（也就是我们常说的聊天机器人或者智能助手）学会在适当的时候说“不”。这里的“不”并不是指简单地拒绝用户的请求，而是在一些特定的情境下，模型应该能够识别并避免执行那些不合适或者不安全的请求。 GitHub：htt... 阅读全文

微信 AI 模式识别中心的研究人员推出一种新的训练方法，名为“Patch-Level Training”，用于提高大语言模型（LLMs）的训练效率。这种方法通过将多个词元（tokens）压缩成一个“补丁”（patch），从而减少序列长度，降低计算成本。例如，我们有一个句子 "The quick brown fox ju... 阅读全文

北京大学和艾伦人工智能研究所的研究人员发布论文，论文的主题是探讨大语言模型（LLMs）在生成文本时的非确定性问题。非确定性是指同样的输入在不同的生成配置下可能会产生显著不同的输出。论文的核心观点是，目前对LLMs的评估往往忽视了这种非确定性，而更多地关注单一输出结果。 GitHub：https://github.com... 阅读全文

华盛顿大学、艾伦人工智能研究所、首尔国立大学和卡内基梅隆大学推出自动化框架WILDTEAMING，它专门用来挖掘和测试大语言模型（LLMs）的安全性漏洞。简单来说，WILDTEAMING能够自动从真实的用户-聊天机器人交互中发现新的“越狱”（jailbreak）策略，这些策略是用户用来绕过语言模型的安全防护的技巧。然后... 阅读全文

马萨诸塞大学阿默斯特分校和Meta的研究人员发布论文，论文的主题是探讨使用大语言模型（LLMs）作为评估员（或“法官”）来评价其他语言模型的表现。这个概念很有前景，因为它解决了人类评估难以扩展到大规模语言模型的问题。但是，这种方法的准确性、可靠性以及可能存在的偏见还是未知的。 例如，我们有一群学生（这里是其他的语言模型... 阅读全文

格罗宁根大学语言与认知中心 (CLCG)和阿姆斯特丹大学逻辑、语言与计算研究所 (ILLC)的研究人员推出MIRAGE（Model Internals-based RAG Explanations），它利用模型内部信息来确保大语言模型（LLMs）生成的答案能够准确引用支持文档。关于提高检索增强型生成（Retrieval... 阅读全文

华南理工大学、多伦多大学、巴伊兰大学、中国国际数字经济学院 (IDEA) 和特拉维夫大学的研究人员发布论文，论文的主题是探讨在大语言模型（LLMs）中实现“忘却”（unlearning）的能力，即从模型中移除特定概念或信息。这项研究非常重要，因为它有助于减轻模型可能产生的不良影响，例如生成有害、私密或错误的信息。 主要... 阅读全文

香港大学和腾讯人工智能实验室的研究人员推出新型参数高效微调方法Mixture-of-Subspaces LoRA（简称MoSLoRA），这种方法适用于大语言模型、多模态模型和扩散模型，旨在通过一种计算效率高、易于实现的方式，提高模型对特定任务的适应性。MoSLoRA是一种既节省资源又能够提升大型模型性能的有效微调方法，... 阅读全文

印度理工学院、美国南卡罗来纳大学人工智能研究所、美国罗彻斯特理工学院、美国亚马逊 GenAI和美国斯坦福大学推出评估框架“Hierarchical Prompting Taxonomy (HPT)”，用于更精确地评估大语言模型（LLMs）在处理不同任务时的有效性。这个框架特别关注了如何根据不同任务的复杂性，采用不同层次... 阅读全文

加州大学圣巴巴拉分校和卡内基梅隆大学的研究人员推出新的在线偏好学习算法，名为“行为临近偏好优化”（BPO），它用于改善大语言模型（LLMs）与人类期望的一致性。BPO算法的核心思想是在模型训练过程中，使学习到的语言模型尽可能地接近行为模型（即生成训练样本的模型），以此来构建一个更合适的信任域，从而提高模型的性能。 例如... 阅读全文

首尔国立大学、 SqueezeBits和成均馆大学的研究人员推出新型二值化技术“Mixture of Scales”（简称BinaryMoS），它主要用于压缩大语言模型（LLMs）。二值化是一种将模型中的权重参数转换为二进制值的方法，可以显著减少模型的大小，但传统的二值化技术会牺牲模型的语言能力。BinaryMoS通过... 阅读全文

罗马大学和爱丁堡大学发布论文，提出了一种基于L2范数的简单而有效的策略，用于压缩大型语言模型（LLMs）中的键值（KV）缓存。在大型语言模型处理长文本时，KV缓存是一个关键组件，它保存了之前token的键和值，以避免在生成过程中重新计算它们。然而，随着上下文长度的增加，KV缓存的内存需求也会增加，这限制了模型的部署和效... 阅读全文