西湖大学和苏州大学的研究人员推出新型大型视频-语言模型PiTe，它通过一种称为“像素-时间对齐”的技术，提高了模型理解和生成视频内容的能力。PiTe模型的目标是通过精细的时空对齐，让机器更好地理解和回应与视频内容 ...... 阅读全文

牛津大学和卡内基 梅隆大学的研究人员推出DreamHOI，它是一种用于生成3D人类与物体互动场景的方法。这种方法能够根据文本描述，让一个3D人体模型与任何给定的物体进行逼真的互动。例如，你是一位电影导演，需要在电 ...... 阅读全文

微软、卡内基梅隆大学和哥伦比亚大学的研究人员推出评估平台WINDOWSAGENTARENA，它专门用来测试和提升计算机代理（也就是我们通常说的“智能助手”或“机器人”）在Windows操作系统中执行多模态任务的能力。这些任务包括 ...... 阅读全文

加速AI应用低成本部署，国产开源技术迈入国际领先行列。元象XVERSE最新发布的XVERSE-MoE-A36B模型，以其卓越的性能和效率，为AI领域带来革命性的变革。元象「高性能全家桶」系列模型全面开源，无条件免费商用，满足 ...... 阅读全文

香港大学、上海科技大学、影眸科技和Adob​​e Research的研究人员推出TransGS，它是一个用于生成高质量、可交互式面部渲染的智能代理。TransGS 的核心功能是将基于物理的面部资产（例如，3D 面部模型）转换成一种名为 ...... 阅读全文

北卡罗来纳大学教堂山分校计算机科学系和字节跳动的研究人员推出VMAS框架，它能够从视频输入中学习生成背景音乐。与以往依赖于符号音乐注释（如 MIDI 文件）的方法不同，VMAS 利用了大规模的网络视频和伴随的背景音 ...... 阅读全文

中国科学院大学的研究人员推出智能代理MVLLaVA ，它专为新视角合成任务而设计。MVLLaVA 通过将多个多视图扩散模型与一个大型多模态模型 LLaVA 结合，能够高效处理广泛的任务。这个系统能够适应多种输入类型，包括单 ...... 阅读全文

独立研究人员Ilya Gusev推出新型基准测试PingPong，它专门用来评估语言模型在角色扮演方面的能力。你可以把它想象成一个高级的“过家家”游戏，但是这里的玩家不是真人，而是人工智能（AI）模型。在这个游戏中，AI模型 ...... 阅读全文

中国科学院计算技术研究所智能信息处理重点实验室、中国科学院人工智能安全重点实验室和中国科学院大学的研究人员推出新型模型架构LLaMA-Omni，它旨在实现与大语言模型（LLMs）的低延迟、高质量的语音交互。例如，你 ...... 阅读全文

中国科学院自动化研究所和美团点评的研究人员推出视频生成音频系统Draw an Audio，这个系统能够根据视频内容自动生成与之匹配的声音效果，这在电影制作中被称为“Foley”艺术。例如，你给这个系统一段没有声音的视频， ...... 阅读全文

清华大学深圳国际研究生院、香港中文大学的研究人员推出SongCreator，它是一个基于歌词生成完整歌曲的人工智能系统。想象一下，你给SongCreator提供一段歌词，它就能创作出一首包含旋律、伴奏和歌声的完整歌曲，就像 ...... 阅读全文

加州大学伯克利分校和麻省理工学院的研究人员推出基准测试“MOCHI”，旨在评估人类观察者和计算机视觉模型在三维形状推断任务上的一致性。这个任务要求参与者从三个不同视角的图像中识别出哪个图像显示的对象是不同的 ...... 阅读全文