阿里巴巴、香港中文大学、香港感知与交互智能研究中心和北京航空航天大学的研究人员推出新型框架LLaVA-MoD，通过专家混合（MoE）知识蒸馏技术使大型多模态语言模型（MLLM）变得小型化。简单来说，LLaVA-MoD的目标是让一个小型的多模态语言模型通过学习大型模型的知识，来提高自己的理解和生成能力，同时保持较低的计算... 阅读全文

英伟达、佐治亚理工学院、UMD和香港理工大学的研究人员推出多模态大语言模型EAGLE，专门设计用于提升模型在处理视觉信息时的能力。简单来说，EAGLE项目的目标是让语言模型能够更好地“看懂”和理解图片，并将这些视觉信息与文本信息结合起来，以提高对复杂查询的响应质量。例如，如果用户问“图片中的商店几点开门？”EAGLE不... 阅读全文

Nexa AI推出新型语言模型架构Dolphin，它专为节能的长文本处理而设计，尤其适用于设备上的模型（on-device models）。想象一下，如果你的手机或智能手表需要处理大量的文本数据，比如翻译一篇长文章或者回答关于复杂历史事件的问题，这通常会消耗很多电量和时间。Dolphin模型就是为了解决这个问题而设计的... 阅读全文

大语言模型（LLM）的通用能力高度依赖于广泛预训练数据集的组成和选择，这些数据集通常被视为多个机构的商业机密。为了解决这一问题，百川开源了一种适用于所有场景的数据处理流程的细节，并通过引入一个竞争力强的LLM基线来验证其有效性和潜力。具体而言，数据处理流程包括广泛收集以扩大规模和重新加权以提高质量。我们接着使用我们的流... 阅读全文

阿里巴巴推出新型文本阅读模型Platypus，它能够从各种形式的图像中读取文本，无论是自然场景还是文档。这个模型的设计理念是结合专家模型（specialist models）的高精度和通用模型（generalist models）的广泛适用性，以提高文本识别的准确性和效率。例如，你是一名历史学家，正在研究古老的文献。使... 阅读全文

英特尔实验室推出新型多模态大语言模型LLaVaOLMoBitNet1B，它是首个能够处理图像和文本输入并产生连贯文本响应的三元（Ternary）多模态大型语言模型。这种模型通过使用三元权重量化技术，旨在实现在较小的计算成本上提供高效的人工智能服务。例如，你是一名社交媒体内容分析师，需要自动生成图片的描述或回答关于图片的... 阅读全文

三星剑桥人工智能中心推出量化新技术MobileQuant，它旨在解决在移动设备上部署大语言模型（LLMs）时面临的内存、能源和计算成本问题。大型语言模型虽然在多种应用中表现出色，但要在手机等边缘设备上使用它们却存在许多挑战。MobileQuant通过减少表示权重和激活所需的位数来降低这些成本，使得LLMs能够在移动设备... 阅读全文

华盛顿大学的研究人员推出新型服务框架NanoFlow，它旨在通过利用设备内部的并行性，显著提高大语言模型（LLMs）的推理吞吐量。在当今数字化时代，大型语言模型被广泛应用于聊天机器人、搜索引擎和办公软件等领域，对计算资源的需求日益增长。NanoFlow通过在单个设备内并行使用计算、内存和网络资源，优化了模型的推理过程。... 阅读全文

新型AI系统MLMove，它能够模仿专业《反恐精英：全球攻势》（CS:GO）玩家的移动方式。想象一下，你在游戏中，需要与队友协调行动，比如一起进攻或防守某个区域，MLMove就像是一个虚拟的队友，能够学习并展现出专业玩家的移动策略。 项目主页：https://davidbdurst.com/mlmove GitHub：... 阅读全文

弗吉尼亚理工大学、贝尔法斯特女王大学和都柏林大学学院的研究人员推出新方法HiRED（High-Resolution Early Dropping），它旨在提高高分辨率视觉-语言模型（VLMs）在资源受限环境中的推理效率。这些模型广泛应用于多模态任务中，如图像和文本的联合理解，但在处理高分辨率图像时，它们会产生大量的视觉... 阅读全文

中科院人工智能研究所、南京大学、香港科技大学、南洋理工大学、中科院大学、松鼠AI和Meta AI的研究人员推出多模态大语言模型基准MME-RealWorld，在现实世界高分辨率场景下的性能评估。简单来说，就是研究当这些智能模型面对真实世界中的复杂图像和问题时，它们的表现如何。 项目主页：https://mme-real... 阅读全文

Hugging Face发布论文，论文的主题是关于构建和深入理解视觉-语言模型（VLMs）。VLMs是一种人工智能模型，它们能够处理和理解图像和文本，然后将这些信息综合起来输出文本。简单来说，这些模型就像一个能够“看”图片并“写”出描述的智能系统。它们还推出了Idefics3-8B，这是一个强大的VLM，它在开放数据集... 阅读全文