微软、卡内基梅隆大学和哥伦比亚大学的研究人员推出评估平台WINDOWSAGENTARENA，它专门用来测试和提升计算机代理（也就是我们通常说的“智能助手”或“机器人”）在Windows操作系统中执行多模态任务的能力。这些任务包括但不限于文本处理、网页浏览、使用各种应用程序等。 项目主页：https://microsof... 阅读全文

加速AI应用低成本部署，国产开源技术迈入国际领先行列。元象XVERSE最新发布的XVERSE-MoE-A36B模型，以其卓越的性能和效率，为AI领域带来革命性的变革。元象「高性能全家桶」系列模型全面开源，无条件免费商用，满足广大中小企业、研究者和开发者的需求。 模型亮点 参数规模：总参数达255B，激活参数36B，实现... 阅读全文

中国科学院大学的研究人员推出智能代理MVLLaVA ，它专为新视角合成任务而设计。MVLLaVA 通过将多个多视图扩散模型与一个大型多模态模型 LLaVA 结合，能够高效处理广泛的任务。这个系统能够适应多种输入类型，包括单个图像、描述性标题，或者在语言指令的引导下改变观察视角。 项目主页：https://jamesjg... 阅读全文

独立研究人员Ilya Gusev推出新型基准测试PingPong，它专门用来评估语言模型在角色扮演方面的能力。你可以把它想象成一个高级的“过家家”游戏，但是这里的玩家不是真人，而是人工智能（AI）模型。在这个游戏中，AI模型需要扮演特定的角色，并且与用户进行互动，就像真人一样进行对话。 项目主页：https://ily... 阅读全文

中国科学院计算技术研究所智能信息处理重点实验室、中国科学院人工智能安全重点实验室和中国科学院大学的研究人员推出新型模型架构LLaMA-Omni，它旨在实现与大语言模型（LLMs）的低延迟、高质量的语音交互。例如，你可以通过语音与一个智能系统对话，就像与一个真正的助手交谈一样，而这个系统能够即时理解你的话并给出回应。 G... 阅读全文

腾讯公司微信 AI 模式识别中心、上海交通大学和南京大学的研究人员推出新型视觉-语言模型POINTS，旨在通过一些高效且经济的策略来提升模型的性能。这个模型专注于处理图像和文本信息，使其在理解和生成与视觉内容相关的语言描述方面更加准确和高效。 论文：https://arxiv.org/abs/2409.04828 例如... 阅读全文

浙江大学和加州大学圣地亚哥分校的研究人员推出基准测试CKnowEdit，旨在通过知识编辑技术纠正和改进大语言模型（LLMs）中的中文知识。这项工作特别关注中文语言和文化领域，因为这些领域在现有的LLMs中常常被误解或处理不当。 数据集：https://huggingface.co/datasets/zjunlp/CKn... 阅读全文

伊利诺伊大学香槟分校、卡内基梅隆大学、卡尔顿学院的研究人员推出一个名为“Paper Copilot”的系统，它是一个为研究人员设计的个性化学术助手，基于大语言模型（LLM）。这个系统的核心目标是帮助科研人员更有效地在海量文献中找到所需信息，并且提供实时更新的研究成果。 Demo：https://huggingface.... 阅读全文

SIAT、UCAS、阿里巴巴、同济大学和USYD的研究人员推出新型多模态大语言模型（MLLM）的指令数据演化框架MMEvol，这个框架的目的是提高MLLM在处理视觉和语言任务时的能力，通过自动生成更复杂和多样化的图像-文本指令数据。总的来说，MMEvol是一个让电脑通过学习和练习变得更擅长处理图像和文字的工具，它通过自... 阅读全文

AI初创公司OthersideAI 开源了Reflection 70B模型，号称是世界上最顶级的开源大语言模型，它采用了一种名为反射调优（Reflection-Tuning）的创新技术，使模型能够识别推理过程中的错误并进行修正。Reflection 70B 基于 Llama 3.1 70B Instruct，可以使用与... 阅读全文

阿里巴巴和人民大学的研究人员推出新型多模态大语言模型mPLUG-DocOwl2，它专门设计用于高效地理解高分辨率的多页文档，而无需依赖光学字符识别（OCR）技术。这个模型通过压缩文档图像来减少处理所需的视觉标记数量，从而提高了理解和分析文档的速度和效率。 GitHub：https://github.com/X-PLUG... 阅读全文

上海市人工智能实验室和上海交通大学的研究人员推出新型公式识别评估指标CDM，这个指标的目的是为了更公平、准确地评估数学公式识别模型的性能。例如，你有一个数学公式 (x+y)+z=x+(y+z)(x+y)+z=x+(y+z)，并且你使用了一个公式识别模型来识别这个公式。模型可能以不同的LaTeX代码表示这个公式，例如 (... 阅读全文