哈尔滨工业大学和鹏城实验室的研究人员推出多模态智能体“Optimus-1”，它能够在像《我的世界》这样的开放世界环境中执行长期任务。Optimus-1的核心是一个混合多模态记忆模块，这个模块由两个主要部分组成：分层指导知识图谱（HDKG）和抽象多模态经验池（AMEP）。这个智能体的设计灵感来源于人类如何利用长期记忆来完... 阅读全文

这篇论文介绍了一个名为“LLM-DetectAIve”的工具，它专门设计用来精细地检测机器生成的文本（MGTs）。随着大语言模型（LLMs）的普及，人们越来越难以区分文本是人类写的还是机器生成的。这在教育和学术领域尤其令人担忧，因为可能会有不正当使用机器生成文本的情况。论文还提到了这个工具的一些限制，比如它目前只支持英... 阅读全文

TRANSFORMER EXPLAINER是一个交互式可视化工具，它旨在帮助非专业人士通过GPT-2模型来学习理解Transformer这一文本生成模型。Transformer是一种在机器学习领域非常流行的神经网络架构，广泛应用于从文本到视觉的多种任务中。但Transformer的内部工作原理对许多人来说还是一个黑箱，... 阅读全文

阿里通义千问 Qwen2 家族的新成员 Qwen2-Math，以其强大的数学解题能力，为开源语言模型领域带来了新的突破。以下是对 Qwen2-Math 的简介和性能概述，以及其多语言模型开发计划的介绍。 项目主页：https://qwenlm.github.io/zh/blog/qwen2-math GitHub：ht... 阅读全文

这篇论文介绍了一个名为LLaVA-OneVision的新型大型多模态模型（LMMs），它是由多个机构共同开发的，包括字节跳动、南洋理工大学、香港中文大学和香港科技大学。这个模型的核心目标是提高计算机视觉任务的性能，特别是在处理单图像、多图像和视频场景时的能力。例如，你正在使用一个智能助手，你给它发送了一张你在旅行中拍摄... 阅读全文

上海人工智能实验室、上海交通大学、香港大学、商汤科技研究部和清华大学的研究人员推出评估基准测试MMIU（Multimodal Multi-image Understanding），它专门用于测试和评估大型视觉-语言模型（LVLMs）在处理多图像任务时的性能。简单来说，MMIU是一个全面的测试套件，它可以检验这些模型是否... 阅读全文

北京国家通用人工智能重点实验室和约翰霍普金斯大学的研究人员推出ExoViP系统，它是一个用于组合视觉推理的验证和探索工具。ExoViP的核心思想是提高复杂视觉任务中人工智能的推理能力，特别是当这些任务需要将复杂的查询转化为一系列可执行的视觉任务时。ExoViP在多个视觉推理任务上的应用，包括视觉问答、图像编辑和视频推理... 阅读全文

英特尔实验室推出开源框架RAG Foundry，它专门用于增强大语言模型（LLMs），特别是针对检索增强型生成（Retrieval-Augmented Generation，简称RAG）的应用场景。简单来说，RAG Foundry是一个多功能工具箱，它可以帮助研究者和开发者通过整合外部信息源来提升语言模型在特定任务上的... 阅读全文

蚂蚁集团推出一种名为POA（Pre-training Once for All）的新型自监督预训练框架。POA的核心思想是通过一次预训练过程，生成多种大小的模型，以适应不同的计算和存储需求。这类似于我们在一个大型购物中心购物，而不是去多个小商店，POA让我们通过一次“购物”（预训练）得到所有尺寸的“衣服”（模型），以适... 阅读全文

谷歌推出内容审核系统ShieldGemma，它是基于大语言模型（LLMs）构建的，专门用于检测和过滤不安全内容。这个系统就像是网络世界的保安，能够辨别出不当的言语或行为，保护用户免受有害信息的影响。例如，有一个在线论坛，用户可能会发布包含仇恨言论或不当内容的帖子。使用ShieldGemma，系统可以自动检测这些帖子，并... 阅读全文

清华大学计算机科学与技术系的研究人员发布论文，论文的主题是探讨如何通过对比性微调（contrastive fine-tuning）来提升小型语言模型的文本嵌入（text embeddings）质量。文本嵌入是一种将文本转换为向量表示的技术，这些向量能够捕捉文本的语义信息，使得机器能够更好地理解自然语言。 GitHub：... 阅读全文

加州大学圣地亚哥分校和加州大学洛杉矶分校的研究人员推出新型音乐理解模型FUTGA，它通过时间增强的生成增强技术，提升了对音乐细节的理解和描述能力。这项技术对于音乐行业来说非常重要，因为它可以帮助自动生成音乐描述、改进音乐检索和生成等应用。例如，你正在制作一个视频，需要一段与视频主题相匹配的背景音乐。使用FUTGA，你可... 阅读全文