微软推出先进神经编解码语言模型VALL-E 2，它在零样本文本到语音合成（TTS）领域取得了突破性进展，首次实现了与人类同等水平的表现。VALL-E 2是一个纯粹的研究项目，目前还没有计划将其纳入产品或向公众开放。尽管VALL-E 2能够合成类似专业配音的语音，但其相似度和自然度取决于语音提示的长度和质量、背景噪音以及... 阅读全文

谷歌推出新型人工智能模型“Personal Health Large Language Model”（简称PH-LLM），它专门针对个人健康领域，能够理解和推理关于健康的数据和信息。 通熟易懂的语言介绍： 想象一下，如果你有一个虚拟的健康顾问，它可以查看你的睡眠模式、运动习惯和生理反应，然后根据这些信息给你提供个性化的... 阅读全文

谷歌和伊利诺伊大学香槟分校的研究人员推出IllumiNeRF，它能够在不需要复杂的逆向渲染过程的情况下，实现对3D物体的重新照明。简单来说，这项技术可以让我们对一个物体在不同光照条件下的样子进行高质量的3D重建，并在新的视角下重新照明这些物体。 项目主页：https://illuminerf.github.io 例如，... 阅读全文

上海交通大学、 北京航空航天大学和小红书公司推出高质量视频-文本数据集Vript以及基于该数据集训练出的视频字幕生成模型Vriptor。Vript数据集包含12K高分辨率视频，这些视频被精心注释，提供了详细、密集且类似剧本的字幕，覆盖超过42万个片段。与以往的视频-文本数据集相比，Vript的每个片段都有大约145个词... 阅读全文

谷歌推出大语言模型Tx-LLM，它是专门为药物治疗领域设计的。例如，科学家想要发现一种新药来治疗糖尿病，他们可以使用Tx-LLM来分析不同的化合物，预测它们与糖尿病相关蛋白的结合强度，从而筛选出最有希望的候选药物。然后，Tx-LLM还可以预测这些候选药物的毒性，帮助科学家避免选择可能对患者有害的化合物。通过这种方式，T... 阅读全文

佐治亚理工学院 和Google DeepMind的研究人员推出ShiftAddLLM，它通过后训练的位移加法重参数化技术来加速预训练的大语言模型（LLMs）。这种方法旨在解决大语言模型在部署到资源受限设备时所面临的挑战，如高内存需求和延迟瓶颈。例如，你正在开发一款智能家居助手，需要使用大型语言模型来进行语音识别和自然语... 阅读全文

华盛顿大学、 Meta AI和艾伦人工智能研究所的研究人员推出多步推理语言代理HUSKY，它是一个统一的、开源的语言模型，能够处理涉及数值、表格和基于知识的复杂推理任务。HUSKY通过迭代地生成和执行行动来解决给定的任务，直到达到终端状态。例如，你是一个学生，需要解决一个复杂的数学问题，比如计算两个州在地图上的面积差异... 阅读全文

Snap推出新型三维重建方法GTR（Geometry and Texture Refinement），GTR旨在从多视角图像中生成高质量的3D网格模型，其特别关注于几何形状和纹理细节的精细化。例如，你是一名游戏开发者，需要将一些2D概念艺术转换为3D模型。使用GTR，你可以通过拍摄概念艺术的多角度照片，快速生成一个高质... 阅读全文

华盛顿大学、康奈尔大学、 Google Research和加州大学伯克利分校的研究人员推出ExtraNeRF，它用于扩展神经辐射场（Neural Radiance Fields, NeRF）的视图范围，特别是当只有少数输入视图可用时。NeRF是一种能够从一组图像重建场景并从新视点渲染场景的深度学习模型，但传统的NeRF... 阅读全文

南开大学和旷视科技的研究人员推出新技术LE3D（Lighting Every Darkness with 3DGS），它是用来快速训练和实时渲染高动态范围（HDR）视图合成的。例如，你用手机在夜晚或者光线复杂的地方拍照，通常照片可能会过暗或者颜色失真。使用LE3D技术，你可以实时地渲染出更加清晰和色彩准确的3D场景，甚... 阅读全文

由Google开发并集成在Gboard键盘中的新功能Proofread，Proofread利用了大语言模型的强大能力，以一种创新的方式改善了用户的打字体验。具体来说，Proofread能够通过简单的一次点击，实现句子级和段落级的文本纠错。例如，你在智能手机上快速打字，但由于屏幕小，手指粗，很容易出错。传统的纠错方法可能... 阅读全文

阿里巴巴推出一个名为C4的通信驱动方法，用于提升大规模并行训练的效率。在大语言模型（LLMs）的训练过程中，为了处理庞大的数据和计算需求，通常需要使用成千上万的GPU进行并行训练。然而，现有的并行训练技术存在一些问题，比如硬件故障导致的训练中断，以及GPU在等待参数同步时造成的等待时间延长。C4就是为了解决这些问题而设... 阅读全文