美图公司举办了第三届美图影像节，主题为“聊聊AI工作流”，现场发布了多款AI影像工具。美图创始人吴欣鸿曾指出Sora给行业带来心理冲击，美图致力于AI原生应用的创新。MOKI作为AI短片创作工具，可实现内容和成本的双重可控，支持多种视频场景创作。 MOKI功能特点 脚本、视觉风格、角色设定后，AI自动生成分镜图并转换为... 阅读全文

今年初，OpenAI的Sora服务以其生成式AI视频技术震撼市场。本周，旧金山的Luma AI公司也宣布推出类似的AI视频服务——Dream Machine。Luma AI成立于2021年，由柏克莱大学的AI研究人员Alex Yu和前苹果Vision Pro开发人员Amit Jain联合创办。去年11月，该公司刚完成4... 阅读全文

上海交通大学、 北京航空航天大学和小红书公司推出高质量视频-文本数据集Vript以及基于该数据集训练出的视频字幕生成模型Vriptor。Vript数据集包含12K高分辨率视频，这些视频被精心注释，提供了详细、密集且类似剧本的字幕，覆盖超过42万个片段。与以往的视频-文本数据集相比，Vript的每个片段都有大约145个词... 阅读全文

中国科学技术大学、香港中文大学、北京大学和上海人工智能实验室的研究人员推出ShareGPT4Video，旨在通过提供密集且精确的字幕来改善大型视频-语言模型（LVLMs）的视频理解能力和文本到视频模型（T2VMs）的视频生成能力。例如，你有一个AI助手，它不仅能看懂视频内容，还能根据视频内容生成详细的描述。这个助手就像... 阅读全文

中国版Sora？快手推出自研视频生成大模型可灵大模型（Kling），可以生成2分钟的视频，目前处于测试阶段，需要下载APP申请加入候补名单。 以下是官方的介绍： 1️⃣大幅度的合理运动：可灵采用3D时空联合注意力机制，能够更好地建模复杂时空运动，生成较大幅度运动的视频内容，同时能够符合运动规律。 2️⃣长达2分钟的视频... 阅读全文

德克萨斯大学奥斯汀分校和英伟达的研究人员推出新技术CamCo，它是一种可以生成视频的人工智能工具。总的来说，CamCo是一个强大的工具，它可以将静态图像转化为动态视频，并允许用户对摄像机的运动进行精确控制，创造出既真实又连贯的视频内容。例如，你有一张照片，但你想要的是一个视频，而不仅仅是静态的画面。CamCo可以帮助你... 阅读全文

蚂蚁集团、南京大学和上海交通大学的研究人员推出AI视频检测工具DeMamba以及一个大规模的AI生成视频数据集GenVideo。这个工具和数据集的主要目的是帮助区分真实视频和由AI生成的假视频，以应对假信息传播的问题。DeMamba和GenVideo数据集的推出，旨在提高AI生成视频检测技术的准确性和鲁棒性，以应对日益... 阅读全文

北京大学的研究人员推出类似阿里的Emo和微软的VASA-1的文本引导的2D头像生成框架InstructAvatar，它能够根据自然语言指令来控制头像的表情和动作。简单来说，InstructAvatar就像是一个虚拟的“演员”，可以根据你给它的文本提示，展现出各种细腻的表情和动作。 项目主页：https://wangyu... 阅读全文

清华大学和京东方的研究人员推出Tele-Aloha，这是一款低成本、高真实感的双向远程存在（telepresence）系统。远程存在系统是一种通信技术，它能够让身处不同地点的人们感受到彼此仿佛在同一空间中。想象一下，你可以通过这种系统，与远在世界另一端的朋友或同事进行交流，就像他们真的坐在你旁边一样。 主要功能： Te... 阅读全文

GitHub上的一个项目收集列表，以OpenAI的Sora为线索，对文本到视频领域的现有研究进行了全面的探索，并总结了该领域的24个数据集和9个评估指标。还发布论文梳理了文生视频的发展历程，结合Sora的优势和相关领域的特点，探讨了该研究领域及Sora本身存在的问题，并为未来的研究方向提供了建议。如果我们的工作能够给予... 阅读全文

昆仑万维推出新型音乐生成模型Music Consistency Models（MusicCM），MusicCM的目标是提高音乐生成的效率和质量，它借鉴了图像和视频生成中常用的一致性模型（consistency models）的概念，以更少的采样步骤高效地合成音乐片段。 主要功能和特点： 高效音乐生成：MusicCM能够... 阅读全文

由北大-兔展AIGC联合实验室共同发起Open-Sora计划，目标是复现OpenAI的Sora模型。该计划通过结合视频VQ-VAE、Denoising Diffusion Transformer和条件编码器等关键技术组件，以实现Sora模型的核心功能。目前已经推出Open-Sora-Plan v1.0.0模型，大幅度提... 阅读全文