香港中文大学MMLab和上海人工智能实验室推出一种新型的优化方法，名为迭代长度正则化的直接偏好优化（Iterative Length-Regularized Direct Preference Optimization，简称iLR-DPO）。这种方法主要用于提升语言模型的性能，使其更符合人类的偏好和价值观。简单来说，就... 阅读全文

新型的多任务信息提取模型GLiNER（Generalist Lightweight model for Information Extraction and Named Entity Recognition），这个模型旨在通过一个小规模的编码器（encoder）模型，实现对各种信息提取任务的有效处理，包括命名实体识别（... 阅读全文

俄罗斯AIRI、EPFL、圣彼得堡国立大学等研究人员推出新型量子化学数据集和基准测试∇2DFT，它专门用于评估神经网络势能（Neural Network Potentials, NNPs）在药物分子模拟方面的性能。这个数据集是基于先前的nablaDFT数据集扩展而来，包含了更多的分子结构、构象、数据类型和任务，以及最新... 阅读全文

HARE 是由中国电信股份有限公司贵州分公司 LiteAI 团队开发的预训练模型，我们使用约600B Tokens的高质量开源和策略生成的合成数据作为预训练数据。论文的主题是探讨如何通过利用人类先验知识（human priors）来提高小型语言模型（Small Language Models，简称SLMs）的效率和性能... 阅读全文

慕尼黑工业大学、达姆施塔特工业大学和浙江大学的研究人员推出新型低延迟大语言模型推理框架LiveMind，LiveMind的核心思想是让语言模型能够在接收到不完整的提示（prompts）时就开始进行推理，从而减少用户等待响应的时间，提高交互体验。 主要功能： 低延迟推理：LiveMind允许LLMs在用户输入不完整时就开... 阅读全文

阿里巴巴 Qwen 团队推出AUTOIF方法，提升大语言模型（LLMs）遵循指令的能力。想象一下，你有一个非常聪明的助手，它可以阅读和理解你给出的任何指令，然后用自然语言做出回应。但是，如果我们想让这个助手更好地理解和执行复杂的指令，就需要一些特别的方法来训练它。AUTOIF方法通过自我生成的执行反馈来增强LLMs的指... 阅读全文

耶路撒冷希伯来大学和巴伊兰大学的研究人员发布论文，论文的主题是关于如何提升语言模型在视觉常识推理方面的能力。简单来说，就是教会计算机如何更好地理解图片，并结合文字信息来做出更准确的判断。论文中提出的方法通过在训练时使用图像和文本的配对数据，并在推理时生成多个图像并集成它们的预测结果，有效地提高了语言模型在视觉常识任务上... 阅读全文

格罗宁根大学语言与认知中心 (CLCG)和阿姆斯特丹大学逻辑、语言与计算研究所 (ILLC)的研究人员推出MIRAGE（Model Internals-based RAG Explanations），它利用模型内部信息来确保大语言模型（LLMs）生成的答案能够准确引用支持文档。关于提高检索增强型生成（Retrieval... 阅读全文

加州大学伯克利分校、伊利诺伊大学伯克利分校和谷歌 DeepMind的研究人员推出新型自主强化学习方法DigiRL，它专门用于训练能够在野外（即现实世界环境）控制设备（如智能手机等）的智能代理。这些智能代理可以通过图形用户界面（GUI）执行各种任务，比如网上购物、预订旅行或者操作移动设备等。 项目主页：https://d... 阅读全文

Sierra推出新基准测试工具τ-bench，它专门用来评估语言代理（也就是我们通常所说的智能助手或聊天机器人）在真实世界应用场景中与人类用户互动的能力。这就像是给智能助手们进行一次全面的“模拟考试”，看看它们在实际工作中的表现如何。例如，你是一个航空公司的智能助手，用户想要更改他们的航班预订。你需要通过与用户的对话了... 阅读全文

越南FPT 软件 AI 中心和富布赖特大学的研究人员推出新型基准测试工具REPOEXEC，它用于评估代码生成模型（CodeLLMs）在处理整个代码库级别的任务时的能力。REPOEXEC的核心目标是测试这些模型生成的代码是否可执行、功能正确，并且能够准确利用跨文件的上下文信息。实验结果表明，尽管预训练的大型语言模型（LL... 阅读全文

微软研究院和清华大学的研究人员推出一种新型的预训练方法，名为“指令预训练”（Instruction Pre-Training），这种方法通过在原始语料库中加入指令-响应对来增强传统的语言模型（LMs）的预训练过程。指令-响应对是由一个高效的指令合成器生成的，该合成器基于开源模型构建。论文的实验结果表明，指令预训练在多种... 阅读全文