香港城市大学、上海人工智能实验室、香港中文大学和南洋理工大学S-Lab的研究人员推出新型3D生成模型Phidias，它能够通过文本、图像以及3D条件来创造3D内容。Phidias的核心特点是利用一个额外的3D参考模型来指导生成过程，从而提高生成质量、泛化能力和可控性。 项目主页：https://rag-3d.githu... 阅读全文

蔚蓝海岸大学、拉瓦尔大学和Adob​​e 研究中心的研究人员推出一种名为“使用多照明合成的扩散方法对辐射场进行重新照明（A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis）”的技术。这是一种先进的计算机... 阅读全文

牛津大学和卡内基 梅隆大学的研究人员推出DreamHOI，它是一种用于生成3D人类与物体互动场景的方法。这种方法能够根据文本描述，让一个3D人体模型与任何给定的物体进行逼真的互动。例如，你是一位电影导演，需要在电影中创建一个场景，其中演员需要与某个特定的物体进行互动，比如坐在椅子上或举起一个重物。传统的3D建模方法可能... 阅读全文

香港大学、上海科技大学、影眸科技和Adob​​e Research的研究人员推出TransGS，它是一个用于生成高质量、可交互式面部渲染的智能代理。TransGS 的核心功能是将基于物理的面部资产（例如，3D 面部模型）转换成一种名为 GauFace 的新型高斯表示，以便实现高效、实时的面部动画和渲染。 项目主页：ht... 阅读全文

加州大学伯克利分校和麻省理工学院的研究人员推出基准测试“MOCHI”，旨在评估人类观察者和计算机视觉模型在三维形状推断任务上的一致性。这个任务要求参与者从三个不同视角的图像中识别出哪个图像显示的对象是不同的。研究者们通过这个任务来比较人类的表现和多种计算机视觉模型的表现。 GitHub：https://github.c... 阅读全文

人工智能研究院推出三维物体检测模型UniDet3D，它能够从点云数据中识别和定位室内环境中的物体。这个模型特别适用于机器人和增强现实（AR）领域，因为它可以提供对三维空间中物体的精确理解。总的来说，UniDet3D通过在多个数据集上进行训练，提高了模型对不同室内环境的适应能力，使其能够在各种场景下准确地检测和定位三维物... 阅读全文

牛津大学视觉几何小组推出新技术GST（Gaussian Splatting Transformers），它能够从单张图片中精确重建出三维人体模型。总的来说，GST 通过结合先进的视觉 Transformer 技术和高斯表示方法，提供了一种高效且精确的方式来从二维图像中重建三维人体模型，这项技术对于虚拟现实、增强现实、创... 阅读全文

Unity推出新型文本到三维（Text-to-3D）模型GIMDiffusion，这个模型能够根据文本描述生成高质量的三维对象，而且生成速度快，数据需求量小，并且能够有效处理复杂的三维表示。例如，你是一名游戏设计师，需要为即将推出的游戏中设计一个“幻想风格的金属盾牌”。使用GIMDiffusion，你只需输入这个文本描... 阅读全文

中国科学技术大学、微软亚洲研究院和上海交通大学的研究人员推出新型视频生成方法Compositional 3D-aware Video Generation，这个方法的核心是通过将视频分解成不同的3D概念，并利用大语言模型（LLM）来指导如何将这些概念组合成最终的视频。这个方法的创新之处在于它将视频生成过程分解为可控制的... 阅读全文

中山大学、上海人工智能实验室和商汤科技的研究人员推出一个名为CrossViewDiff的模型，它是一个用于卫星图像到街景图像合成的跨视角扩散模型。简单来说，这个模型能够将从高空卫星拍摄的图像转换成仿佛在地面上拍摄的街景图像。 项目主页：https://opendatalab.github.io/CrossViewDif... 阅读全文

伦敦大学学院的研究人员推出三维重建方法Spann3R，它能够从有序或无序的图像集合中重建出密集的三维几何结构。这个方法的核心在于使用一个基于变换器（transformer）的架构，直接从图像中回归点图（pointmap），而不需要事先知道场景或相机参数。 项目主页：https://hengyiwang.github.i... 阅读全文

香港中文大学MiuLar实验室、香港中文大学MMLab、字节跳动和上海人工智能实验室的研究人员推出SAM2POINT系统，它是一个用于三维（3D）分割的先进框架。三维分割是指在三维空间中识别和区分不同对象或场景的过程，类似于在照片中用标记笔圈出不同的物体。SAM2POINT利用了一种称为Segment Anything... 阅读全文