开源工具包VLMEvalKit，它用于评估大型多模态模型。这些模型能够处理并理解多种类型的数据，比如图像、文本、音频等。VLMEvalKit基于PyTorch框架，旨在为研究人员和开发者提供一个友好、全面的框架，以便他们评估现 ...... 阅读全文

浙江大学和 香港大学的研究人员推出OmniBind，这是一种大规模的多模态联合表示模型，能够处理包括3D、音频、图像和语言输入在内的多种数据类型。简单来说，OmniBind就像一个多语言的超级翻译器，但它不仅仅是翻译语 ...... 阅读全文

LG电子和首尔国立大学的研究人员推出Click-Gaussian，这是一种用于实时3D场景操作的交互式分割方法。简单来说，Click-Gaussian能够让用户通过单次点击就能在三维空间中选择和分割出他们想要的对象，无论是粗略的大致 ...... 阅读全文

谷歌推出YouTube-SL-25，这是一个大规模、开放式的多语种手语平行语料库。简单来说，它包含了超过25种不同手语的视频，这些视频从YouTube上收集而来，并且配有相应的字幕。这个项目的目标是改善手语与文本之间的翻译 ...... 阅读全文

卡内基梅隆大学、Meta和苏黎世联邦理工学院的研究人员推出Omnigrasp，它可以让虚拟的仿人机器人（humanoids）能够抓住各种不同的物体，并让这些物体沿着复杂的轨迹移动。想象一下，就像是一个电子游戏里的角色，不仅 ...... 阅读全文

韩国科学技术研究院人工智能研究生院推出3D编辑技术DreamCatalyst，它将基于SDS（分数蒸馏采样）的编辑解释为扩散模型的逆过程。我们的目标函数考虑了采样动力学，从而使DreamCatalyst的优化过程成为了编辑任务中扩 ...... 阅读全文

德克萨斯大学奥斯汀分校、萨里大学、牛津大学、加州理工学院和Meta AI的研究人员推出“权重低秩投影”（Weight Low-Rank Projection，简称WeLore），它以一种与数据无关且一次性的方式，统一了权重压缩和内存高效微调 ...... 阅读全文

中国科学院自动化研究所和阿里巴巴集团达摩院的研究人员推出一种让3D模型动起来的技术Animate3D，它可以通过一种特殊的方法，让静态的3D模型变得生动活泼，就像赋予了它们生命一样。例如，你是一名游戏开发者，需要 ...... 阅读全文

百川公司 和天津大学智能与计算学院的研究人员推出智能助手Sibyl，Sibyl是一个基于大语言模型（LLM）的智能代理框架，旨在通过有效利用一组最小化的工具来解决复杂的现实世界问题。例如，你是一名研究人员，需要解决 ...... 阅读全文

昆仑推出新型图像生成模型DiT-MoE，这个模型的全称是“Diffusion Transformers with Mixture of Experts”。简单来说，它是一种能够生成高质量图像的人工智能系统。它通过模拟一个逐步去噪和降噪的过程，将随机噪声转 ...... 阅读全文

上海人工智能实验室和清华大学的研究人员推测NeedleBench框架，它专门用来测试大语言模型处理长文本的能力。这个框架通过设计一系列越来越具挑战性的任务，评估模型在处理多语言长文本时的检索和推理能力。这些任务 ...... 阅读全文

阿里巴巴推出新型工具套件“Data-Juicer Sandbox”，它旨在促进多模态数据和生成模型的协同开发。多模态数据指的是包含文本、图像、视频和音频等多种类型的数据。生成模型则是指能够基于输入数据生成新内容的人工智能 ...... 阅读全文