中国科学院自动化研究所和加州大学伯克利分校的研究人员推出评估平台K-Sort Arena，它专门用来测试和比较生成模型的性能。你可以把生成模型想象成一位艺术家，它可以根据给定的文字描述创作出图片或视频。但就像评价艺术品一样，我们需要一种方法来评估这些艺术家的作品质量，这就是K-Sort Arena发挥作用的地方。 项目... 阅读全文

弗吉尼亚理工大学、贝尔法斯特女王大学和都柏林大学学院的研究人员推出新方法HiRED（High-Resolution Early Dropping），它旨在提高高分辨率视觉-语言模型（VLMs）在资源受限环境中的推理效率。这些模型广泛应用于多模态任务中，如图像和文本的联合理解，但在处理高分辨率图像时，它们会产生大量的视觉... 阅读全文

延世大学的研究人员推出一种名为FLoD（Flexible Level of Detail，灵活的细节层次）的技术，它被集成到了3D Gaussian Splatting（3DGS，三维高斯溅射）中，以实现可定制的渲染效果。3DGS是一种用于快速、高质量渲染的3D场景表示方法，但传统的3DGS对内存的需求很高，这限制了它... 阅读全文

上海人工智能实验室和纽约大学的研究人员推出新技术T3M，它能够通过语音和文本的输入来生成逼真的3D人体动作。这项技术对于虚拟现实（VR）、游戏开发和电影制作等领域有着重要的应用价值。例如，你正在为一款虚拟现实游戏设计一个角色，这个角色需要根据玩家的语音指令来做出相应的动作。传统的方法可能只能根据语音的音调、速度等特征来... 阅读全文

中科院人工智能研究所、南京大学、香港科技大学、南洋理工大学、中科院大学、松鼠AI和Meta AI的研究人员推出多模态大语言模型基准MME-RealWorld，在现实世界高分辨率场景下的性能评估。简单来说，就是研究当这些智能模型面对真实世界中的复杂图像和问题时，它们的表现如何。 项目主页：https://mme-real... 阅读全文

上海交通大学、香港中文大学、浙江大学、上海人工智能实验室、斯坦福大学和南洋理工大学的研究人员推出LayerPano3D，这是一种从单一文本提示生成全视角可探索全景三维场景的新型框架。我们的核心见解是将参考二维全景图分解为不同深度级别的多个图层，每个图层通过扩散先验揭示参考视图中看不见的空间。LayerPano3D 包含... 阅读全文

Hugging Face发布论文，论文的主题是关于构建和深入理解视觉-语言模型（VLMs）。VLMs是一种人工智能模型，它们能够处理和理解图像和文本，然后将这些信息综合起来输出文本。简单来说，这些模型就像一个能够“看”图片并“写”出描述的智能系统。它们还推出了Idefics3-8B，这是一个强大的VLM，它在开放数据集... 阅读全文

哈尔滨工业大学（深圳）推出新型人工智能代理Anim-Director，它是一个强大的多模态大型模型（LMMs）驱动的动画视频生成器。简单来说，Anim-Director就像一个虚拟的动画导演，能够根据简短的叙述或指令，自动创作出连贯、内容丰富的动画视频。例如，一个小朋友想讲述一个关于小猫和小狗在花园玩耍的故事，Anim... 阅读全文

韩国科学技术院MAC实验室推出Video-Foley系统，它是一个视频到声音的转换系统，专门用于生成与视频内容在时间和语义上同步的声音效果（Foley声）。例如，你在观看一部电影，看到一个人用木棍敲打不同材料，比如木头、金属或岩石，这些声音是与视频内容同步的。在电影制作中，这个过程称为Foley声生成，它需要人工制作，... 阅读全文

新加坡国立大学、VideoSys 团队和普渡大学的研究人员推出新技术Pyramid Attention Broadcast (PAB)，它用于加速基于扩散模型的实时视频生成。这项技术的核心思想是观察到在视频生成过程中的注意力机制（attention）存在一种U形模式的冗余，即在中间的大部分步骤中，注意力的变化非常小，而... 阅读全文

AI21实验室推出大语言模型Jamba-1.5系列，它们基于Jamba架构，融合了Transformer和Mamba模型的优势，专门针对指令调优进行了优化。Jamba-1.5有两个版本：Jamba-1.5-Large（94亿活跃参数）和Jamba-1.5-Mini（12亿活跃参数）。例如，你有一个能够理解和执行指令的智... 阅读全文

Nous Research推出基于 Llama 3.1的大语言模型Hermes 3，它专门针对接受指令和工具使用进行了优化，具备强大的推理和创造能力。Hermes 3模型以其中立的立场和高度的可控性脱颖而出，能够精确地响应用户的指令性陈述。例如，你有一个智能助手，它可以阅读你的指令，比如“列出旧金山值得一游的有趣地点”... 阅读全文