LMMs 实验室团队、 新加坡南洋理工大学和新加坡科技大学的研究人员推出Long Video Assistant（LongVA）模型，让大型多模态模型（LMMs）更好地理解和处理非常长的视频序列。这里的“长视频”指的是视频帧数很多，可能达到数千帧。以往的模型在处理这类视频时会遇到困难，因为它们的视觉编码器会产生大量的视... 阅读全文

中国科学院自动化研究所多模态人工智能系统国家重点实验室、中国科学院大学人工智能学院、松鼠AI、阿里巴巴集团和Meta AI的研究人员推出新型大型多模态模型SliME，这些模型能够处理和理解高分辨率的图像和文本信息。例如，你有一个智能助手，它不仅能读懂你给它的任何图片，还能理解图片中的细节，并回答你关于图片内容的问题。 ... 阅读全文

杭州电子科技大学推出轻量级大型多模态模型Imp，它旨在为移动设备等资源受限的场景提供强大的人工智能能力。Imp模型利用了大语言模型（LLMs）的能力，通过系统的研究和优化，在保持模型规模较小（例如2B到4B参数）的同时，实现了与更大模型相媲美的性能。例如，你正在开发一个移动应用程序，该应用程序需要帮助用户识别植物并提供... 阅读全文

Meta推出MA-LMM，它是一个为了更有效地理解长期视频内容而设计的记忆增强型大型多模态模型。与传统的视频理解模型不同，MA-LMM采用了一种在线处理视频帧的方式，并使用一个记忆库来存储过去的视频信息。这样，即使视频非常长，模型也能够引用历史视频内容进行长期分析，而不会超出大型语言模型（LLMs）的上下文长度限制或G... 阅读全文

这篇论文介绍了一个名为OmniFusion的多模态模型，它结合了大型语言模型（LLM）和视觉模态的适配器，以提高人工智能系统处理和理解文本和图像数据的能力。OmniFusion模型在多个视觉-语言基准测试中表现出色，尤其是在视觉问题回答（VQA）任务上，与现有的开源解决方案相比，它能够提供更详细的答案。 GitHub：... 阅读全文

这篇论文介绍了一个名为Direct Preference Optimization (DPO) 的新技术，它旨在提升大型多模态模型（LMMs）在处理视频指令跟随任务时的表现。想象一下，你正在观看一个教学视频，而一个AI模型需要根据视频内容回答关于视频的问题。这项技术可以帮助AI更准确地理解视频内容，并提供更相关、更准确... 阅读全文

来自清华大学、新加坡国立大学和中国科学院大学推出大型多模态模型LLaVA-UHD，它能够高效地处理任意宽高比和高分辨率的图像。在现实世界中，图像的宽高比和分辨率多种多样，这对于大型多模态模型（LMMs）在理解和处理视觉信息时提出了挑战。现有的LMMs通常只能处理固定宽高比和低分辨率的图像，这会导致图像内容的严重形变和模... 阅读全文

SuperAGI推出新型多模态模型Veagle，它专注于如何将语言和视觉信息结合起来，以便更好地理解和处理包含文本的图像。在现实世界中，我们经常遇到包含文本的图像，比如路标、菜单或者商品包装，理解和解释这些图像中的文本对于人工智能来说是一个挑战。 GitHub：https://github.com/superagi/V... 阅读全文

这篇论文介绍了一个名为TinyLLaVA的框架，它旨在设计和分析小型的大型多模态模型（LMMs）。这些模型结合了视觉和语言处理能力，以更好地理解和生成与图像相关的文本。TinyLLaVA框架通过实验研究了不同视觉编码器、连接模块、语言模型、训练数据和训练方法对模型性能的影响。研究结果表明，通过使用高质量的数据和有效的训... 阅读全文