阿里巴巴、香港中文大学、香港感知与交互智能研究中心和北京航空航天大学的研究人员推出新型框架LLaVA-MoD，通过专家混合（MoE）知识蒸馏技术使大型多模态语言模型（MLLM）变得小型化。简单来说，LLaVA-MoD的目标是让一个小型的多模态语言模型通过学习大型模型的知识，来提高自己的理解和生成能力，同时保持较低的计算... 阅读全文

英伟达、佐治亚理工学院、UMD和香港理工大学的研究人员推出多模态大语言模型EAGLE，专门设计用于提升模型在处理视觉信息时的能力。简单来说，EAGLE项目的目标是让语言模型能够更好地“看懂”和理解图片，并将这些视觉信息与文本信息结合起来，以提高对复杂查询的响应质量。例如，如果用户问“图片中的商店几点开门？”EAGLE不... 阅读全文

Nexa AI推出新型语言模型架构Dolphin，它专为节能的长文本处理而设计，尤其适用于设备上的模型（on-device models）。想象一下，如果你的手机或智能手表需要处理大量的文本数据，比如翻译一篇长文章或者回答关于复杂历史事件的问题，这通常会消耗很多电量和时间。Dolphin模型就是为了解决这个问题而设计的... 阅读全文

大语言模型（LLM）的通用能力高度依赖于广泛预训练数据集的组成和选择，这些数据集通常被视为多个机构的商业机密。为了解决这一问题，百川开源了一种适用于所有场景的数据处理流程的细节，并通过引入一个竞争力强的LLM基线来验证其有效性和潜力。具体而言，数据处理流程包括广泛收集以扩大规模和重新加权以提高质量。我们接着使用我们的流... 阅读全文

阿里巴巴推出新型文本阅读模型Platypus，它能够从各种形式的图像中读取文本，无论是自然场景还是文档。这个模型的设计理念是结合专家模型（specialist models）的高精度和通用模型（generalist models）的广泛适用性，以提高文本识别的准确性和效率。例如，你是一名历史学家，正在研究古老的文献。使... 阅读全文

沙特阿拉伯国王科技大学的研究人员推出交互式3D布局控制方法“Build-A-Scene”（简称BAS），用于基于扩散模型的图像生成。简单来说，这个方法允许用户通过提供一个3D布局来控制图像中物体的类型、位置和方向，然后系统会根据这些信息生成一张图片。例如，一个室内设计师想要快速预览不同沙发和灯具的摆放效果。使用BAS，... 阅读全文

特拉维夫大学和谷歌的研究人员推出新型游戏引擎GameNGen，它完全由神经网络模型驱动，能够实现与复杂环境的实时交互，并且能够在长时间内保持高质量。简单来说，GameNGen就像是一个智能的虚拟世界构建者，它可以在极快的速度下模拟出像经典游戏《DOOM》这样的复杂场景。 项目主页：https://gamengen.gi... 阅读全文

清华大学深圳国际研究生院、腾讯人工智能实验室、香港科技大学、斯坦福大学和香港中文大学的研究人员推出MagicMan，它是一种用于生成人类新视角图像的模型，能够在3D空间中意识到人类的形态和动作。MagicMan通过使用一个预训练的2D扩散模型和3D人体模型（SMPL-X）来生成高质量、多视角的人类图像，这些图像非常适合... 阅读全文

英特尔实验室推出新型多模态大语言模型LLaVaOLMoBitNet1B，它是首个能够处理图像和文本输入并产生连贯文本响应的三元（Ternary）多模态大型语言模型。这种模型通过使用三元权重量化技术，旨在实现在较小的计算成本上提供高效的人工智能服务。例如，你是一名社交媒体内容分析师，需要自动生成图片的描述或回答关于图片的... 阅读全文

三星剑桥人工智能中心推出量化新技术MobileQuant，它旨在解决在移动设备上部署大语言模型（LLMs）时面临的内存、能源和计算成本问题。大型语言模型虽然在多种应用中表现出色，但要在手机等边缘设备上使用它们却存在许多挑战。MobileQuant通过减少表示权重和激活所需的位数来降低这些成本，使得LLMs能够在移动设备... 阅读全文

华盛顿大学的研究人员推出新型服务框架NanoFlow，它旨在通过利用设备内部的并行性，显著提高大语言模型（LLMs）的推理吞吐量。在当今数字化时代，大型语言模型被广泛应用于聊天机器人、搜索引擎和办公软件等领域，对计算资源的需求日益增长。NanoFlow通过在单个设备内并行使用计算、内存和网络资源，优化了模型的推理过程。... 阅读全文

新型AI系统MLMove，它能够模仿专业《反恐精英：全球攻势》（CS:GO）玩家的移动方式。想象一下，你在游戏中，需要与队友协调行动，比如一起进攻或防守某个区域，MLMove就像是一个虚拟的队友，能够学习并展现出专业玩家的移动策略。 项目主页：https://davidbdurst.com/mlmove GitHub：... 阅读全文