中国科学院大学人工智能学院、中国科学院自动化研究所和中国铁塔股份有限公司的研究人员推出新型高效Transformer模型AVESFormer，它专为实时音视频（Audio-Visual, AV）分割任务而设计。音视频分割是一种多模态任务，目的是在像素级别上区分出视频中与声音源相对应的物体。这项技术在机器人感知、视频监控... 阅读全文

清华大学、百度公司、中关村实验室和南洋理工大学的研究人员推出新技术框架ReSyncer，它是一个用于创建统一的音频-视觉同步的面部表演者的系统。简单来说，ReSyncer能够根据给定的音频生成口型同步的视频，并且能够进一步传递目标人物的说话风格和身份特征。ReSyncer在不同方面的性能，包括与现有技术的比较、定量和定... 阅读全文

西蒙菲莎大学和香港城市大学的研究人员推出新颖方法omages，用于生成逼真的3D模型和UV贴图，这个过程通过一种称为“对象图像”（Object Images）的表示来实现。简单来说，就是将复杂的3D形状转换成64x64像素的2D图像，这样做的好处是可以利用现有的图像生成模型，比如扩散变换器（Diffusion Tran... 阅读全文

这篇论文介绍了一个名为LLaVA-OneVision的新型大型多模态模型（LMMs），它是由多个机构共同开发的，包括字节跳动、南洋理工大学、香港中文大学和香港科技大学。这个模型的核心目标是提高计算机视觉任务的性能，特别是在处理单图像、多图像和视频场景时的能力。例如，你正在使用一个智能助手，你给它发送了一张你在旅行中拍摄... 阅读全文

上海人工智能实验室、上海交通大学、香港大学、商汤科技研究部和清华大学的研究人员推出评估基准测试MMIU（Multimodal Multi-image Understanding），它专门用于测试和评估大型视觉-语言模型（LVLMs）在处理多图像任务时的性能。简单来说，MMIU是一个全面的测试套件，它可以检验这些模型是否... 阅读全文

北京国家通用人工智能重点实验室和约翰霍普金斯大学的研究人员推出ExoViP系统，它是一个用于组合视觉推理的验证和探索工具。ExoViP的核心思想是提高复杂视觉任务中人工智能的推理能力，特别是当这些任务需要将复杂的查询转化为一系列可执行的视觉任务时。ExoViP在多个视觉推理任务上的应用，包括视觉问答、图像编辑和视频推理... 阅读全文

复旦大学和上海人工智能科学研究院的研究人员推出大规模文本到视频生成数据集VIDGEN-1M，这个数据集是为了提升文本到视频模型的训练效果而特别设计的，它通过精细的筛选和标注过程，提供了高质量的视频和详细的文本描述。例如，你想要制作一个关于海滩日落的视频，你可以给模型一个文本描述，比如“一个男人戴着红帽子，穿着灰色衬衫站... 阅读全文

英特尔实验室推出开源框架RAG Foundry，它专门用于增强大语言模型（LLMs），特别是针对检索增强型生成（Retrieval-Augmented Generation，简称RAG）的应用场景。简单来说，RAG Foundry是一个多功能工具箱，它可以帮助研究者和开发者通过整合外部信息源来提升语言模型在特定任务上的... 阅读全文

洋理工大学、清华大学、伦敦帝国理工学院和西湖大学的研究人员推出MeshAnything V2系统，它是一个能够自动生成与给定形状对齐的艺术家创造的网格（Artist-Created Meshes，简称AM）的模型。简单来说，MeshAnything V2就像一个聪明的3D设计师，可以根据你提供的形状或者描述，自动设计出... 阅读全文

Midjourney 于今年初推出了全新的“样式参考（Style References）”功能，该功能允许用户通过指定一个或多个图像并使用–sref风格代码来生成具有相同风格但内容不同的新图片。虽然互联网上有不少国外用户分享的示例，但这些资源较为分散，不易查找。 为此，特此介绍一个名为“SrefHunter”的网站。该... 阅读全文

庞贝法布拉大学、伦敦玛丽女王大学和环球音乐集团的研究人员推出评估基准MuChoMusic，它专门用来测试多模态音频-语言模型在音乐理解方面的能力。这些模型可以同时处理音频和语言信息，对于音乐领域的理解和应用具有巨大的潜力。简单来说，MuChoMusic就像一个针对音乐理解智能的“考试”，它可以评估这些智能系统是否能够准... 阅读全文

加拿大阿尔伯塔大学、加拿大多伦多大学和华为诺亚方舟实验室的研究人员推出新技术TexGen，它是一种用于3D纹理生成的系统，能够根据文本描述自动创建出相应的3D纹理。想象一下，如果你是一名游戏设计师或者电影特效师，想要给一个3D模型穿上“衣服”，但不想手动一点点去画，TexGen就能帮你实现这个愿望。 项目主页：http... 阅读全文