印度理工学院、美国南卡罗来纳大学人工智能研究所、美国罗彻斯特理工学院、美国亚马逊 GenAI和美国斯坦福大学推出评估框架“Hierarchical Prompting Taxonomy (HPT)”，用于更精确地评估大语言模型（LLMs）在处理不同任务时的有效性。这个框架特别关注了如何根据不同任务的复杂性，采用不同层次... 阅读全文

加州大学圣巴巴拉分校和卡内基梅隆大学的研究人员推出新的在线偏好学习算法，名为“行为临近偏好优化”（BPO），它用于改善大语言模型（LLMs）与人类期望的一致性。BPO算法的核心思想是在模型训练过程中，使学习到的语言模型尽可能地接近行为模型（即生成训练样本的模型），以此来构建一个更合适的信任域，从而提高模型的性能。 例如... 阅读全文

···q新加坡管理大学、新加坡Sea AI实验室、新加坡国立大学和罗格斯大学的研究人员推出自对齐使用DPO隐式奖励DICE，这个方法利用了直接偏好优化（DPO）训练后的隐式奖励模型来进一步优化语言模型。实验结果表明，DICE在保持模型大小不变的情况下，显著提高了语言模型的性能，甚至在某些方面超过了需要额外人类反馈的封闭... 阅读全文

爱丁堡大学和同济大学的研究人员推出新评估工具 MIRB（Multi-Image Relational Benchmark, 多图像关系基准），用来衡量这些模型在处理和推理多个图像时的表现，评估和测试视觉语言模型（VLMs）在理解多图像方面的能力。论文通过广泛的评估发现，尽管在单图像任务中一些开源的视觉语言模型能够与一些... 阅读全文

百度、ModelBest和UCPH的研究人员发布论文 ，论文的主题是探讨了在大语言模型（LLMs）中，文本分词（tokenization）这一预处理步骤存在的问题，以及这些问题对模型性能的影响。分词是将原始文本转换成一系列子词（subword）标识符的过程，这个过程对拼写错误、文本长度变化非常敏感，并且往往忽略了词内结... 阅读全文

首尔国立大学、 SqueezeBits和成均馆大学的研究人员推出新型二值化技术“Mixture of Scales”（简称BinaryMoS），它主要用于压缩大语言模型（LLMs）。二值化是一种将模型中的权重参数转换为二进制值的方法，可以显著减少模型的大小，但传统的二值化技术会牺牲模型的语言能力。BinaryMoS通过... 阅读全文

华盛顿大学、哈佛大学和斯坦福大学的研究人员推出新型大语言模型TABULA-8B，它专门用于处理表格数据（Tabular Data）。表格数据是一种结构化、异构的、类似电子表格的数据形式，它在许多领域中都有广泛应用，比如医疗、金融、政府和自然科学等。 例如，你有一大堆来自不同地方的数据表，这些数据表里充满了数字、文字和日... 阅读全文

上海交通大学、上海人工智能实验室、 生成式人工智能研究实验室（GAIR）的研究人员推出评估平台OlympicArena，它专门用来测试和衡量人工智能（AI）模型在解决高难度问题时的认知推理能力。这些问题的难度级别相当于奥林匹克竞赛水平，涵盖了多个学科领域。 项目主页：https://gair-nlp.github.io... 阅读全文

智谱AI发布论文介绍了大语言模型家族ChatGLM，这些模型由GLM-130B发展到GLM-4系列，包括GLM-4、GLM-4-Air和GLM-4-9B。这些模型代表了该家族中最强大的版本，它们结合了之前几代ChatGLM的经验和技术。总的来说，ChatGLM是一个多功能、高性能的大型语言模型，它通过不断学习和适应，能... 阅读全文

清华大学、腾讯 PCG ARC 实验室和加州大学圣克鲁斯分校的研究人员推出新型视觉压缩技术VoCo-LLaMA，这项技术是专门为视觉-语言模型（Vision-Language Models，简称VLMs）设计的，目的是解决这些模型在处理高分辨率图像输入和视频时遇到的两个主要问题：有限的上下文窗口和高昂的计算成本。 项目... 阅读全文

斯坦福大学推出TEXTGRAD框架，它是一种全新的自动化优化方法，专门为复杂的人工智能（AI）系统设计。例如，有一个非常聪明的助手，它能够理解你给出的指令，然后用自然语言给你反馈，告诉你如何改进你的工作或解决问题。TEXTGRAD就是这样一个助手，但它服务的对象是AI系统。TEXTGRAD可以通过分析问题和当前的解答，... 阅读全文

罗马大学和爱丁堡大学发布论文，提出了一种基于L2范数的简单而有效的策略，用于压缩大型语言模型（LLMs）中的键值（KV）缓存。在大型语言模型处理长文本时，KV缓存是一个关键组件，它保存了之前token的键和值，以避免在生成过程中重新计算它们。然而，随着上下文长度的增加，KV缓存的内存需求也会增加，这限制了模型的部署和效... 阅读全文