百川公司 和天津大学智能与计算学院的研究人员推出智能助手Sibyl，Sibyl是一个基于大语言模型（LLM）的智能代理框架，旨在通过有效利用一组最小化的工具来解决复杂的现实世界问题。例如，你是一名研究人员，需要解决一个涉及多个学科的复杂问题。你可以向Sibyl提出问题，Sibyl会通过其工具规划器选择合适的工具（比如网... 阅读全文

上海人工智能实验室和清华大学的研究人员推测NeedleBench框架，它专门用来测试大语言模型处理长文本的能力。这个框架通过设计一系列越来越具挑战性的任务，评估模型在处理多语言长文本时的检索和推理能力。这些任务涵盖了不同的文本长度和深度范围，允许在不同文本深度区域中策略性地插入关键数据点，以严格测试模型在多样化的上下文... 阅读全文

阿里巴巴推出新型工具套件“Data-Juicer Sandbox”，它旨在促进多模态数据和生成模型的协同开发。多模态数据指的是包含文本、图像、视频和音频等多种类型的数据。生成模型则是指能够基于输入数据生成新内容的人工智能模型，例如根据文本描述生成图像或视频。 例如，你是一位厨师，需要准备一道复杂的菜肴，你需要各种食材（... 阅读全文

苏州大学计算机科学与技术学院人工智能研究所的研究人员发布论文，论文的主题是关于如何保护大语言模型（LLMs）中的个人隐私数据。随着AI技术的发展，大型语言模型在理解和生成自然语言方面表现出了惊人的能力，但同时也带来了隐私泄露的风险。这些模型可能会无意中记住训练数据中的个人信息，比如个人的名字、电子邮件地址、电话号码等敏... 阅读全文

卡内基梅隆大学和布法罗大学的研究人员推出数据引擎Map It Anywhere (MIA) ，它能够利用大规模的公共数据来增强从第一人称视角（FPV）图像预测鸟瞰图（BEV）地图的能力。简单来说，MIA能够帮助我们从人们日常拍摄的街景照片中自动创建出用于导航的地图。 项目主页：https://mapitanywhere... 阅读全文

上海交通大学和上海人工智能实验室的研究人员推出新基准测试GTA（General Tool Agents），它是为了评估和提升大语言模型（LLMs）在现实世界场景中使用各种工具的能力而设计的。GTA基准测试的主要挑战在于，现有的评估方法往往使用人工智能生成的查询、单一步骤任务、虚拟工具和仅限文本的交互，这些都不能有效地揭... 阅读全文

北京大学、北京人工智能研究院和大连理工大学的研究人员推出一种新型多模态大型语言模型DenseFusion-1M，它通过融合多种视觉专家的知识来增强对复杂视觉元素的理解能力。这些模型能够理解图像中的多个对象、文本信息和空间关系，但它们的性能很大程度上受限于可用的高质量图像-文本数据集的质量。 GitHub：https:/... 阅读全文

英伟达推出一种新型的混合模型架构——MambaVision，它是专门为视觉应用设计的。MambaVision的核心贡献在于重新设计了Mamba公式，以增强其对视觉特征的高效建模能力。此外，论文还对将视觉变换器（ViT）与Mamba集成的可行性进行了全面的研究。 GitHub：https://github.com/NVl... 阅读全文

香港中文大学、北京大学、上海人工智能实验室和甲骨文公司的研究人员推出新型多模态大语言模型的调优范式MAVIS，专门针对数学视觉问题解决能力的提升。MAVIS通过利用大型语言模型和代码能力，合成了大量的抽象图像和视觉推理指令，以提高模型在数学问题上的表现。 GitHub：https://github.com/ZrrSky... 阅读全文

德克萨斯大学奥斯汀分校、 萨里大学、 牛津大学、加州理工学院和Meta AI的研究人员推出新方法Q-GaLore，它用于提高训练大语言模型（LLMs）时的内存效率。大型语言模型是一类拥有数十亿参数的人工智能模型，它们在各种任务中表现出色，但训练这些模型需要巨大的内存和计算资源。实验结果表明，Q-GaLore在预训练和微... 阅读全文

浙江大学的研究人员发布论文，论文的主题是关于如何提高大型多模态模型（LMMs）在理解和推理抽象图像方面的能力。多模态模型是一种人工智能技术，它能够处理和理解多种类型的数据，如文本、图像等。然而，尽管这些模型在处理自然场景照片和人像方面已经相当擅长，它们在处理图表、地图或布局等抽象图像时仍然存在困难。这些抽象图像通常由简... 阅读全文

智谱AI推出一种新型视频理解模型——CogVLM2-Video。该模型针对现有技术中的一些限制进行了改进，旨在更准确地理解和回答与视频内容相关的问题。CogVLM2-Video模型结合了新生成的数据集和现有的开放领域问答数据。该模型引入了多帧视频图像和时间戳作为编码器输入，通过这种方式，模型能够更好地理解视频内容及其时... 阅读全文