智谱AI和清华大学联合推出新型视觉语言模型家族CogVLM2，它们专门设计用于理解和处理图像与视频内容。简单来说，这些模型就像是拥有超凡视觉能力的智能助手，它们不仅能“看到”图像和视频里的内容，还能理解这些内容背后的含义，并根据这些理解来回答问题或者执行任务。 GitHub：https://github.com/THU... 阅读全文

AnythingLLM 是一款可以在本地电脑一件运行大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn  ... 阅读全文

马克斯·普朗克信息学研究所，萨尔信息学校区、萨尔布吕肯视觉计算、交互和人工智能研究中心和弗莱堡大学的研究人员推出TEDRA，它可以让用户通过文本描述来编辑动态且逼真的3D角色模型。简单来说，TEDRA就是一个先进的“虚拟化妆师”，能够根据你提供的文本提示，比如“穿着卫衣的男人”，来改变3D角色的外观，同时保持角色的动作... 阅读全文

加州大学伯克利分校和Autodesk的研究人员推出新型机器人学习模型ICRT，ICRT的核心目标是通过一种新颖的“在上下文中学习”（in-context learning）方法，让机器人能够在没有额外训练的情况下，通过理解输入的上下文信息来执行新任务。例如，我们有一个机器人，需要它在不同的环境中执行拾取和放置物体的任务... 阅读全文

阿里巴巴、香港中文大学、香港感知与交互智能研究中心和北京航空航天大学的研究人员推出新型框架LLaVA-MoD，通过专家混合（MoE）知识蒸馏技术使大型多模态语言模型（MLLM）变得小型化。简单来说，LLaVA-MoD的目标是让一个小型的多模态语言模型通过学习大型模型的知识，来提高自己的理解和生成能力，同时保持较低的计算... 阅读全文

英伟达、佐治亚理工学院、UMD和香港理工大学的研究人员推出多模态大语言模型EAGLE，专门设计用于提升模型在处理视觉信息时的能力。简单来说，EAGLE项目的目标是让语言模型能够更好地“看懂”和理解图片，并将这些视觉信息与文本信息结合起来，以提高对复杂查询的响应质量。例如，如果用户问“图片中的商店几点开门？”EAGLE不... 阅读全文

Nexa AI推出新型语言模型架构Dolphin，它专为节能的长文本处理而设计，尤其适用于设备上的模型（on-device models）。想象一下，如果你的手机或智能手表需要处理大量的文本数据，比如翻译一篇长文章或者回答关于复杂历史事件的问题，这通常会消耗很多电量和时间。Dolphin模型就是为了解决这个问题而设计的... 阅读全文

大语言模型（LLM）的通用能力高度依赖于广泛预训练数据集的组成和选择，这些数据集通常被视为多个机构的商业机密。为了解决这一问题，百川开源了一种适用于所有场景的数据处理流程的细节，并通过引入一个竞争力强的LLM基线来验证其有效性和潜力。具体而言，数据处理流程包括广泛收集以扩大规模和重新加权以提高质量。我们接着使用我们的流... 阅读全文

阿里巴巴推出新型文本阅读模型Platypus，它能够从各种形式的图像中读取文本，无论是自然场景还是文档。这个模型的设计理念是结合专家模型（specialist models）的高精度和通用模型（generalist models）的广泛适用性，以提高文本识别的准确性和效率。例如，你是一名历史学家，正在研究古老的文献。使... 阅读全文

沙特阿拉伯国王科技大学的研究人员推出交互式3D布局控制方法“Build-A-Scene”（简称BAS），用于基于扩散模型的图像生成。简单来说，这个方法允许用户通过提供一个3D布局来控制图像中物体的类型、位置和方向，然后系统会根据这些信息生成一张图片。例如，一个室内设计师想要快速预览不同沙发和灯具的摆放效果。使用BAS，... 阅读全文

特拉维夫大学和谷歌的研究人员推出新型游戏引擎GameNGen，它完全由神经网络模型驱动，能够实现与复杂环境的实时交互，并且能够在长时间内保持高质量。简单来说，GameNGen就像是一个智能的虚拟世界构建者，它可以在极快的速度下模拟出像经典游戏《DOOM》这样的复杂场景。 项目主页：https://gamengen.gi... 阅读全文

清华大学深圳国际研究生院、腾讯人工智能实验室、香港科技大学、斯坦福大学和香港中文大学的研究人员推出MagicMan，它是一种用于生成人类新视角图像的模型，能够在3D空间中意识到人类的形态和动作。MagicMan通过使用一个预训练的2D扩散模型和3D人体模型（SMPL-X）来生成高质量、多视角的人类图像，这些图像非常适合... 阅读全文