英伟达发布的Nemotron-4 340B系列模型家族，包括Nemotron-4-340B-Base、Nemotron-4-340B-Instruct和Nemotron-4-340B-Reward。这些模型在多种任务上展现出了强大的性能，并且可以在单个DGX H100系统上的8个GPU中以FP8精度部署。模型的安全性评... 阅读全文

英伟达推出开源数据集HelpSteer2，它是为了训练能够指导大语言模型（LLMs）生成符合人类偏好的高质量回应的奖励模型而设计的。HelpSteer2数据集的特点是它包含了对回应的多属性评分，这有助于训练出能够更好地符合人类偏好的奖励模型。例如，你是一个在线客服聊天机器人的开发者，你希望机器人能够提供既准确又有帮助的... 阅读全文

弗吉尼亚大学、斯坦福大学和亚马逊的研究人员提出了一种新型的“能量基世界模型”（Energy-Based World Models，简称EBWM），这是一种受人类认知启发的机器学习模型，旨在改善现有世界模型在模拟人类预测和规划能力方面的不足。论文的核心观点是，尽管现有的自回归模型（如大型语言模型和计算机视觉中的帧预测模型... 阅读全文

Meta AI和阿姆斯特丹大学的研究人员发布论文，论文的核心主题是对现代计算机视觉架构中一个长期存在的假设——局部性（locality）的必要性提出质疑。局部性是指在图像处理中，相邻像素之间的关联性比相隔较远的像素要强。传统上，包括卷积神经网络（ConvNets）在内的许多视觉模型都依赖于这种局部性偏见来设计和优化性能... 阅读全文

斯坦福大学、加州大学伯克利分校、丰田研究院、Google DeepMind和麻省理工学院推出OpenVLA，它是一个拥有7亿参数的视-语-行模型（Vision-Language-Action Model，简称VLA）。简单来说，OpenVLA就像是一个多才多艺的机器人大脑，它能够理解人类的语言指令，并通过自己的“眼睛”... 阅读全文

Sakana AI 与 剑桥大学、牛津大学的研究人员推出DiscoPOP，如何使用大语言模型来自动发现和优化偏好优化算法。偏好优化算法主要用于改善和控制大型语言模型输出的质量，使其更好地符合人类的价值观和偏好。例如，我们有一个大型语言模型，我们希望它在生成文本时能够更好地符合人类的偏好。传统上，这需要人类专家设计损失函... 阅读全文

加州大学圣克鲁斯分校、爱丁堡大学、 JHU、 Adob​​e、和UT 奥斯汀的研究人员发布论文，论文的主题是关于如何使用一个名为LLaMA-3的先进语言模型来重新描述（recaption）网络上的数十亿图像，目的是改善图像与其文字描述之间的语义对齐，并提高图像生成模型的质量。 项目主页：https://www.haqt... 阅读全文

香港中文大学多媒体实验室、中国科学院大学人工智能学院、中国科学院自动化研究所和上海人工智能实验室的研究人员推出全能型人工智能模型MiCo，这是一种能够理解多种信息形式（比如文本、图像、视频、声音等）的全能型人工智能模型。我们可以把这种模型想象成一个超级大脑，它能够像人类一样，通过视觉、听觉等感官来感知世界，并且能够学习... 阅读全文

北京邮电大学推出综合性基准测试工具CS-Bench，它专门设计用来评估大语言模型（LLMs）在计算机科学（CS）领域的性能。CS-Bench是首个中英双语的计算机科学评估基准，旨在全面考察LLMs在计算机科学各个方面的知识和推理能力。例如，我们想要检验一个人工智能是否能够像计算机科学专业的学生一样，解决编程、算法、网络... 阅读全文

华盛顿大学、艾伦人工智能研究所和 宾夕法尼亚大学的研究人员推出Visual SKETCHPAD，它赋予了多模态语言模型（LMs）一种新的可视化工具——素描板，以及在素描板上绘图的能力。这就像给计算机一个可以在上面画草图的画板，帮助它更好地理解和解决问题。例如，当你在解决一个几何问题时，你可能会在纸上画一些辅助线来帮助思... 阅读全文

加州大学圣巴巴拉分校和滑铁卢大学的研究人员推出新基准测试TC-Bench，它专门用来评估和比较不同的视频生成模型在处理时间维度上组合性的能力。这里的“时间组合性”意味着视频中的物体或者场景能够随着时间变化而展现出新的概念和它们之间的关系转换。例如，我们想要制作一个视频，视频里有一个变色龙从绿色变成蓝色。这个过程不是突变... 阅读全文

Predibase、博科尼大学的研究人员推出新框架“Language Model Council”（LMC），用于对大语言模型（LLMs）在高度主观任务上的表现进行基准测试。这个框架通过民主化的过程来评估和排名模型，尤其是在情感智能、创造性写作或说服力等主观性强、缺乏普遍共识的任务上。LMC框架的局限性，如只研究了单轮... 阅读全文