苏黎世联邦理工学院、马克斯普朗克信息学研究所和谷歌的研究人员推出一种提升2D图像特征表示的方法，特别强调了通过3D意识的微调（3D-aware fine-tuning）来增强这些特征。这种方法的核心思想是，通过在3D空间中对2D图像特征进行处理，可以让模型更好地理解和表达物体和场景的结构，从而提高在各种下游任务中的表现... 阅读全文

DGIST 和Meta的研究人员推出ExAvatar，它可以从一段简单的单眼视频创建出一个全身3D高表达性人类化身（3D avatar）。ExAvatar不仅能够模拟人体的运动，还能模拟面部表情和手部动作，这些都是人们表达情感和与世界互动的重要方式。例如，你录制了一段自己跳舞的视频，使用ExAvatar技术，可以从这段... 阅读全文

新型视听语义分割任务，称为开放词汇的视听语义分割（Open-Vocabulary Audio-Visual Semantic Segmentation，简称OV-AVSS）。这项技术的目标是在视频中识别和分类发出声音的物体，即使这些物体的类别在训练数据中从未出现过。例如，你在观看一个包含多种乐器演奏的音乐会视频，即使训... 阅读全文

谷歌推出内容审核系统ShieldGemma，它是基于大语言模型（LLMs）构建的，专门用于检测和过滤不安全内容。这个系统就像是网络世界的保安，能够辨别出不当的言语或行为，保护用户免受有害信息的影响。例如，有一个在线论坛，用户可能会发布包含仇恨言论或不当内容的帖子。使用ShieldGemma，系统可以自动检测这些帖子，并... 阅读全文

字节跳动研究院跨语言代理团队推出高质量、类人同声传译系统CLASI， CLASI的主要功能是同声传译，即在演讲者讲话的同时，系统能够即时地提供翻译，让听众能够理解演讲内容。例如，你正在观看一个英文的科技产品发布会，但你的母语是中文。演讲者介绍了一款新的智能手机，使用了大量专业术语，如"Ising model"（伊辛模型... 阅读全文

瑞士苏黎世联邦理工学院和迪士尼研究工作室的研究人员推出Reenact Anything，它能够实现一种语义视频运动转移的功能。简单来说，这项技术可以让一张静态图片中的对象动起来，模仿另一个视频中的运动。这不是简单的模仿动作，而是在保持原有图片外观和布局的同时，让图片中的对象按照视频里的动作进行“表演”。 例如，你有一张... 阅读全文

清华大学计算机科学与技术系的研究人员发布论文，论文的主题是探讨如何通过对比性微调（contrastive fine-tuning）来提升小型语言模型的文本嵌入（text embeddings）质量。文本嵌入是一种将文本转换为向量表示的技术，这些向量能够捕捉文本的语义信息，使得机器能够更好地理解自然语言。 GitHub：... 阅读全文

加州大学圣地亚哥分校和加州大学洛杉矶分校的研究人员推出新型音乐理解模型FUTGA，它通过时间增强的生成增强技术，提升了对音乐细节的理解和描述能力。这项技术对于音乐行业来说非常重要，因为它可以帮助自动生成音乐描述、改进音乐检索和生成等应用。例如，你正在制作一个视频，需要一段与视频主题相匹配的背景音乐。使用FUTGA，你可... 阅读全文

伦敦帝国理工学院和谷歌 DeepMind的研究人员推出新框架Diffusion Augmented Agents（简称DAAG），它结合了大语言模型、视觉语言模型和扩散模型，以提高强化学习中具身代理（embodied agents）的样本效率和迁移学习能力。简单来说，DAAG是一个帮助机器人或虚拟代理更好地学习和适应新... 阅读全文

伊利诺伊大学厄巴纳-香槟分校、普渡大学和Adob​​e的研究人员推出ORG（Object Reconstruction with Ground，物体与地面重建）的模型，它能够从单目图像中同时重建3D物体、估计相机参数，并模拟物体与地面的关系。这项技术为3D视觉和图像处理领域提供了一种新的工具，使得从单张图片中提取3D信... 阅读全文

香港城市大学、天津大学和悉尼大学的研究人员推出新型的计算机视觉模型VSSD，它通过改进状态空间模型（SSMs）来提高处理长序列数据的能力，同时保持了对全局信息的接收能力。这项技术为计算机视觉领域提供了一种新的高效方法，特别是在需要处理大量视觉数据和长序列信息的场景中。 例如，你有一个包含城市街景的图像数据集，需要自动地... 阅读全文

英伟达、加州大学伯克利分校、麻省理工学院、德州奥斯汀分校、多伦多大学和斯坦福大学的研究人员推出一个用于视频字幕生成的世界摘要框架Wolf，Wolf是一个自动化的视频字幕生成框架，它采用了一种专家混合的方法，利用视觉语言模型（VLMs）的互补优势，通过结合图像和视频模型，捕获不同级别的信息，并高效地进行摘要。这项技术为视... 阅读全文