微软亚洲研究院、中央音乐学院、清华大学的研究人员推出新型模型bGPT，它是一种数字世界模拟器，专门用来处理和理解二进制数据。它不同于传统的深度学习模型，因为它不再仅仅关注于人类容易理解的数字媒体文件，如文本、音频和图像，而是深入到了最基本的数字单位——字节。在数字世界中，所有的信息和操作都是以二进制格式编码和处理的，而... 阅读全文

来自康奈尔大学的研究人员推出一个名为MOSAIC的系统，它是一个模块化的架构，旨在帮助家庭机器人与人类用户合作完成复杂的烹饪任务。MOSAIC通过自然语言与人类用户互动，协调多台机器人，并管理日常物品的开放词汇表。这个系统的核心是模块化，它利用了多个大规模预训练模型来处理通用任务，如语言和图像识别，同时使用简化的模块来... 阅读全文

来自加州大学洛杉矶分校的六人团队（全是华人）今天他们公开了他们的机器人学习跳舞和动作的演示，还公开了论文，论文中介绍了一种名为Expressive Whole-Body Control（ExBody）的方法，它旨在让类人机器人（humanoid robots）在现实世界中执行丰富、多样和富有表现力的动作。研究者们通过结... 阅读全文

来自加州大学伯克利分校的研究研究人员发布论文探讨如何让机器人，特别是人形机器人（humanoid），在现实世界中更好地行走。研究者们将这个问题看作是一个“下一个标记预测”问题，这类似于在语言中预测下一个单词。他们的模型是一个因果变换器（causal transformer），通过自回归预测传感器运动轨迹来训练。这种方法... 阅读全文

Lightrick公司宣布了其最新创新——LTX Studio，这是第一代生成式AI电影制作平台。对于那些想要在视频制作中引入AI元素的创作者来说，这是一个令人兴奋的消息。 LTX Studio不仅允许用户借助AI生成短片，还提供了对脚本、角色、镜头、风格、对话和情节等内容的详细编辑功能。这意味着，无论你是初学者还是专... 阅读全文

Video Background Removal tool是一款由推特网友@Mr_AllenT制作，在Hugging Face Spaces上运行的视频背景去除工具，该工具可以保留视频的主题去除复杂的背景，从而生成可以生成绿幕视频。不过在线版经常出现等待GPU的情况，或者直接报错，如果你的显卡好，可以尝试本地版。 Pi... 阅读全文

英伟达联合 Hugging Face和云计算公司ServiceNow发布开源代码生成模型系列StarCoder 2，希望成为代码生成领域的新标准，释出的模型包括由ServiceNow训练的30亿参数模型、Hugging Face训练的70亿参数模型、英伟达训练的150亿参数模型，前两个模型可在大多数消费级GPU上运行。... 阅读全文

「Dewatermark」是一款强大的AI工具，它能够自动帮助用户去除照片上的水印。通过使用先进的AI技术，它能准确识别照片中的水印，并将其从图片中移除，同时还原背景颜色，让处理后的照片看起来如同没有水印一般。这款工具的最大特点是其全自动化的处理流程。它采用了业界领先的AI水印识别算法，能够自动侦测水印并将其与背景影像... 阅读全文

Morph x Stability AI联手推出创新视频创作方案。新世代技术助您轻松将创意化为生动视频。只需输入文字、图片或现有视频素材，Morph Studio的一站式生成工具即可帮助您打造精彩故事。无缝衔接各环节，每个灵感瞬间均可通过多重并行处理快速成片。... 阅读全文

这篇论文介绍了一种名为“布局学习”（Layout Learning）的方法，它能够生成可以分解为独立对象的3D场景。这种方法是无监督的，仅依赖于一个大型预训练的文本到图像模型的知识。核心思想是通过对3D场景的部分进行空间重排，仍然能够产生相同场景的有效配置，从而发现场景中的对象。 项目主页：https://dave.m... 阅读全文

来自清华大学、华为诺亚方舟实验室、中国科学院的研究人员推出VastGaussian，它用于大型场景的高质量重建和实时渲染。想象一下，你想要创建一个虚拟城市或者重现一个历史遗迹，并且希望这个虚拟场景能够以照片般真实的质量实时显示。VastGaussian就是为了解决这样的挑战而设计的。 项目主页：https://vast... 阅读全文

谷歌研究人员发布论文探讨了大语言模型（LLMs）在微调（finetuning）过程中的缩放特性，特别是在不同因素（如模型大小、预训练数据量、微调参数量和微调数据量）的影响下，微调性能如何变化。研究团队通过系统实验，分析了这些因素对微调效果的影响，并提出了一种新的缩放定律来描述这些关系。 论文地址：https://arx... 阅读全文