加州大学圣地亚哥分校、卡耐基梅隆大学、 麻省理工学院和 IAIFI的研究团队推出GeFF（Generalizable Feature Fields）系统，它是一种用于移动操作机器人的先进技术。想象一下，你有一个机器人助手，它可以在你的指导下，比如“去拿一瓶饮料”，然后在一个充满各种物品的房间里找到并拿起一瓶饮料。这就是... 阅读全文

来自上海启智研究院、上海交通大学、清华大学、上海人工智能实验室的研究人员推出新型视觉模仿学习方法3D Diffusion Policy (DP3)，这种方法通过结合3D视觉表示和扩散策略，使得机器人能够在模拟和现实世界任务中高效地学习复杂技能。DP3的核心设计是利用从稀疏点云中提取的紧凑3D视觉表示，这些表示通过一个高... 阅读全文

Google DeepMind推出机器人学习框架RT-H（Robot Transformer with Action Hierarchies）的机器人学习框架。RT-H的目标是通过自然语言来构建动作层级结构，以便更有效地学习和执行复杂的任务。这个框架利用了语言的表达能力，将复杂任务分解成更细粒度的动作，从而帮助机器人更... 阅读全文

斯坦福大学和谷歌的研究人员推出RT-Sketch系统，它是一个目标条件化的模仿学习（Imitation Learning, IL）策略，用于机器人操控任务。RT-Sketch的核心特点是它能够理解用户手绘的草图，并根据这些草图来执行动作。这种方法旨在解决自然语言指令可能存在的歧义性以及图像可能过于具体的问题。 项目主页... 阅读全文

加州大学伯克利分校的研究人员发布论文，该主题是关于如何训练一个由两个多指机器人手组成的系统，使其能够旋转（拧开）各种类似瓶子物体的盖子。这个研究项目使用了深度强化学习（Deep Reinforcement Learning, DRL）技术，首先在模拟环境中训练控制策略，然后将这个策略零次转移（zero-shot tra... 阅读全文

来自康奈尔大学的研究人员推出一个名为MOSAIC的系统，它是一个模块化的架构，旨在帮助家庭机器人与人类用户合作完成复杂的烹饪任务。MOSAIC通过自然语言与人类用户互动，协调多台机器人，并管理日常物品的开放词汇表。这个系统的核心是模块化，它利用了多个大规模预训练模型来处理通用任务，如语言和图像识别，同时使用简化的模块来... 阅读全文

来自加州大学洛杉矶分校的六人团队（全是华人）今天他们公开了他们的机器人学习跳舞和动作的演示，还公开了论文，论文中介绍了一种名为Expressive Whole-Body Control（ExBody）的方法，它旨在让类人机器人（humanoid robots）在现实世界中执行丰富、多样和富有表现力的动作。研究者们通过结... 阅读全文

来自加州大学伯克利分校的研究研究人员发布论文探讨如何让机器人，特别是人形机器人（humanoid），在现实世界中更好地行走。研究者们将这个问题看作是一个“下一个标记预测”问题，这类似于在语言中预测下一个单词。他们的模型是一个因果变换器（causal transformer），通过自回归预测传感器运动轨迹来训练。这种方法... 阅读全文

来自加州大学圣地亚哥分校、南加州大学的研究人员推出CyberDemo，这是一种新颖的方法，它利用在模拟环境中收集的人类演示数据来学习现实世界中的灵巧操作任务。CyberDemo通过在模拟器中进行大量的数据增强，使得在转移到现实世界时，能够处理多样化的物理和视觉条件，从而超越了传统的基于真实世界演示的方法。 项目主页：h... 阅读全文

LMPC是一个创新的框架，它通过结合大语言模型（LLMs）的强大语言理解和生成能力，以及MPC的决策优化技术，显著提高了机器人在复杂任务中的学习速度和适应性。LMPC的核心思想是利用人类反馈来微调LLMs，使其能够更有效地理解和执行人类的指令，从而提高机器人完成任务的效率。 项目主页：https://robot-tea... 阅读全文

来自斯坦福大学、哥伦比亚大学、丰田研究院的研究人员推出了一数据收集和政策学习框架Universal Manipulation Interface（UMI），它允许人们直接从野外的人类演示中转移技能，然后部署到机器人策略中。换句话说，这个框架的目标是让机器人能够通过学习人类的操作方式，来掌握并完成各种任务。 项目主页：h... 阅读全文