中国科学技术大学、香港中文大学、北京大学和上海人工智能实验室的研究人员推出ShareGPT4Video，旨在通过提供密集且精确的字幕来改善大型视频-语言模型（LVLMs）的视频理解能力和文本到视频模型（T2VMs）的视频生成能力。例如，你有一个AI助手，它不仅能看懂视频内容，还能根据视频内容生成详细的描述。这个助手就像... 阅读全文

中国版Sora？快手推出自研视频生成大模型可灵大模型（Kling），可以生成2分钟的视频，目前处于测试阶段，需要下载APP申请加入候补名单。 以下是官方的介绍： 1️⃣大幅度的合理运动：可灵采用3D时空联合注意力机制，能够更好地建模复杂时空运动，生成较大幅度运动的视频内容，同时能够符合运动规律。 2️⃣长达2分钟的视频... 阅读全文

德克萨斯大学奥斯汀分校和英伟达的研究人员推出新技术CamCo，它是一种可以生成视频的人工智能工具。总的来说，CamCo是一个强大的工具，它可以将静态图像转化为动态视频，并允许用户对摄像机的运动进行精确控制，创造出既真实又连贯的视频内容。例如，你有一张照片，但你想要的是一个视频，而不仅仅是静态的画面。CamCo可以帮助你... 阅读全文

蚂蚁集团、南京大学和上海交通大学的研究人员推出AI视频检测工具DeMamba以及一个大规模的AI生成视频数据集GenVideo。这个工具和数据集的主要目的是帮助区分真实视频和由AI生成的假视频，以应对假信息传播的问题。DeMamba和GenVideo数据集的推出，旨在提高AI生成视频检测技术的准确性和鲁棒性，以应对日益... 阅读全文

北京大学的研究人员推出类似阿里的Emo和微软的VASA-1的文本引导的2D头像生成框架InstructAvatar，它能够根据自然语言指令来控制头像的表情和动作。简单来说，InstructAvatar就像是一个虚拟的“演员”，可以根据你给它的文本提示，展现出各种细腻的表情和动作。 项目主页：https://wangyu... 阅读全文

清华大学和京东方的研究人员推出Tele-Aloha，这是一款低成本、高真实感的双向远程存在（telepresence）系统。远程存在系统是一种通信技术，它能够让身处不同地点的人们感受到彼此仿佛在同一空间中。想象一下，你可以通过这种系统，与远在世界另一端的朋友或同事进行交流，就像他们真的坐在你旁边一样。 主要功能： Te... 阅读全文

GitHub上的一个项目收集列表，以OpenAI的Sora为线索，对文本到视频领域的现有研究进行了全面的探索，并总结了该领域的24个数据集和9个评估指标。还发布论文梳理了文生视频的发展历程，结合Sora的优势和相关领域的特点，探讨了该研究领域及Sora本身存在的问题，并为未来的研究方向提供了建议。如果我们的工作能够给予... 阅读全文

昆仑万维推出新型音乐生成模型Music Consistency Models（MusicCM），MusicCM的目标是提高音乐生成的效率和质量，它借鉴了图像和视频生成中常用的一致性模型（consistency models）的概念，以更少的采样步骤高效地合成音乐片段。 主要功能和特点： 高效音乐生成：MusicCM能够... 阅读全文

由北大-兔展AIGC联合实验室共同发起Open-Sora计划，目标是复现OpenAI的Sora模型。该计划通过结合视频VQ-VAE、Denoising Diffusion Transformer和条件编码器等关键技术组件，以实现Sora模型的核心功能。目前已经推出Open-Sora-Plan v1.0.0模型，大幅度提... 阅读全文

谷歌发布视频插值生成模型VIDIM，它能够根据给定的起始和结束帧生成中间的短视频。想象一下，你有两张图片，一张是一个人跳起来的动作，另一张是这个人落地的动作，VIDIM能够在这两张图片之间生成一系列连贯的帧，形成一个平滑的跳跃动作视频。 主要功能和特点： 高保真视频生成： VIDIM能够生成结构连贯、动作自然流畅的高质... 阅读全文

MoneyPrinterTurbo是一个利用AI大模型，一键生成高清短视频的开源项目，只需提供一个视频 主题 或 关键词 ，就可以全自动生成视频文案、视频素材、视频字幕、视频背景音乐，然后合成一个高清的短视频。... 阅读全文

来自多伦多大学和Meta的研究团队推出EgoLifter，它是一种先进的计算机视觉技术，专门设计用来理解和分析从个人可穿戴设备（比如智能眼镜）拍摄的视频。这些视频通常是从第一人称视角（也就是“以自我为中心”的视角）拍摄的，因此被称为“egocentric”视频。总的来说，EgoLifter是一个强大的工具，它可以从个人... 阅读全文