深度求索推出开源的视觉语言（VL）模型DeepSeek-VL系列。该模型专为现实世界的视觉和语言理解应用而设计，围绕数据构建、模型架构、训练策略三大方面展开。报告显示，DeepSeek-VL系列有1.7B和7B两个参数规模，均在同规模的视觉语言基准测试中在多个方面超越了LLaVA-Next、Qwen-VL-Chat等模... 阅读全文

这篇论文的主题是“通过图神经网络在Spotify上实现个性化有声读物推荐”。简单来说，Spotify想要在其平台上引入有声读物，并希望为用户提供个性化的推荐服务。由于有声读物与Spotify现有的音乐和播客内容不同，用户对这种新内容类型的互动较少，因此推荐系统面临了数据稀疏和冷启动的挑战。为了解决这些问题，Spotif... 阅读全文

百度推出了新一代智能代码编程助手——Codemate，该工具深度融合了百度多年积累的编程大数据以及丰富的外部开源数据资源，致力于为开发者提供贴近实际研发场景的高质量代码生成服务。相较于国外竞品，Codemate 的代码提示与自动生成功能更注重本土化和实用性，以“贴地气”的方式更好地服务于中国开发者。 类似于 Codei... 阅读全文

ShellGPT是一个由 AI 大型语言模型（LLM）驱动的命令行生产力工具。该命令行工具提供了对 shell 命令、代码片段、文档 的简化生成，消除了对外部资源（如 Google 搜索）的需求。支持 Linux、macOS、Windows，并与 PowerShell、CMD、Bash、Zsh 等主要 Shell 兼容... 阅读全文

这篇论文介绍了Caduceus，这是一个新型的双向长距离DNA序列模型家族，它能够处理DNA序列中的长距离相互作用，并且考虑了DNA的反向互补性（RC）。Caduceus模型在基因组学中的应用，特别是在预测基因变异对基因表达影响的任务上，表现出了优越的性能。例如，如果我们想要研究一个特定的遗传变异是否会导致某种疾病，C... 阅读全文

这篇论文提出了一种名为S4（Strongly Supervised pre-training with ScreenShots）的新型预训练范式，用于视觉-语言模型（Vision-Language Models，简称VLMs）。S4利用大规模网络截图渲染数据，通过丰富的视觉和文本线索来提升模型的性能，这些线索在使用图像... 阅读全文

这篇论文介绍了一种名为GaLore（Gradient Low-Rank Projection）的方法，它是一种训练大型语言模型（LLMs）的策略，旨在解决训练过程中的显存挑战。随着LLMs的规模不断增长，它们的权重和优化器状态所需的内存也越来越多，这限制了在有限硬件资源上进行训练的能力。 主要功能： GaLore的主要... 阅读全文

百川智能推出ShortGPT，它用于简化大语言模型（LLMs），比如我们熟知的GPT系列。随着LLMs在各种任务上的表现越来越出色，它们的规模也变得越来越大，有的甚至包含了数十亿甚至数万亿个参数。但是，这篇研究发现，LLMs中的许多层其实是非常相似的，有些层在模型功能中的作用几乎可以忽略不计。 举个例子，假设我们有一个... 阅读全文

这篇论文介绍了一种名为Co-LLM（Collaborative Language Model）的方法，它教会多个大语言模型（LLM）如何协作。假设我们有一个任务是回答医学问题。Co-LLM可以让一个通用的大型语言模型（比如LLAMA-7B）生成问题的回答框架，然后调用一个专门针对医学领域训练的模型（比如MEDITRON... 阅读全文

这篇论文介绍了一个名为SaulLM-7B的大语言模型（LLM），它是专门为法律领域设计的。SaulLM-7B拥有70亿个参数，是第一个明确为法律文本理解和生成而设计的LLM。这个模型基于Mistral 7B架构，训练于一个超过300亿个token的英语法律语料库。SaulLM-7B在理解和处理法律文件方面表现出了最先进... 阅读全文

来自苹果的研究人员发布论文探讨了视觉-语言模型（VLMs）在视觉推理任务上的表现，特别是针对一种名为雷文进阶矩阵（Raven's Progressive Matrices，简称RPMs）的智力测试。RPMs是一种经典的智力测试工具，它要求参与者通过观察一系列图形，找出完成图案所需的正确图形。这项研究旨在评估VLMs在仅... 阅读全文

微软和俄亥俄州立大学的研究人员发布论文，提出了一种受到生物启发的可以增强大语言模型使用工具能力的方法，即模拟试错（STE）法，并将其开源。该方法协调了试错、想象和记忆三个关键机制。ToolBench实验结果显示，STE在上下文学习和微调设置下显著提高了大语言模型的工具学习能力，让Mistral-Instruct-7B实... 阅读全文