纽约大学、Hello Robot、Meta的研究人员推出新的机器人框架Robot Utility Models（RUMs），它旨在训练能够在新环境中零样本部署的机器人策略。这些策略能够在没有进一步微调的情况下，直接泛化到新的环境和对象上。总的来说，RUMs通过结合多模态学习和自我批评机制，提高了机器人在新环境中的自主性... 阅读全文

斯坦福大学的研究团队发布论文，这篇论文的主题是关于如何将模拟环境中学习到的机器人策略成功地转移到现实世界中，这在机器人学习领域被称为“仿真到现实（Sim-to-Real）”的转换。例如，你在一个视频游戏中练习驾驶赛车，然后你想要将你在游戏里学到的技能应用到真实世界中的驾驶。这听起来可能很简单，但现实情况要复杂得多，因为... 阅读全文

Google DeepMind推出新型框架Vid2Robot，它是一个让机器人通过观看人类执行任务的视频来学习并执行相同任务的系统。简而言之，Vid2Robot能够让机器人通过观察人类的动作视频来理解任务意图，并在自己的环境中复现这些动作。 主要功能和特点： 视频条件策略学习： Vid2Robot可以直接从人类演示视频... 阅读全文

加州大学圣地亚哥分校、卡耐基梅隆大学、 麻省理工学院和 IAIFI的研究团队推出GeFF（Generalizable Feature Fields）系统，它是一种用于移动操作机器人的先进技术。想象一下，你有一个机器人助手，它可以在你的指导下，比如“去拿一瓶饮料”，然后在一个充满各种物品的房间里找到并拿起一瓶饮料。这就是... 阅读全文

加州大学伯克利分校的研究人员发布论文，该主题是关于如何训练一个由两个多指机器人手组成的系统，使其能够旋转（拧开）各种类似瓶子物体的盖子。这个研究项目使用了深度强化学习（Deep Reinforcement Learning, DRL）技术，首先在模拟环境中训练控制策略，然后将这个策略零次转移（zero-shot tra... 阅读全文

来自康奈尔大学的研究人员推出一个名为MOSAIC的系统，它是一个模块化的架构，旨在帮助家庭机器人与人类用户合作完成复杂的烹饪任务。MOSAIC通过自然语言与人类用户互动，协调多台机器人，并管理日常物品的开放词汇表。这个系统的核心是模块化，它利用了多个大规模预训练模型来处理通用任务，如语言和图像识别，同时使用简化的模块来... 阅读全文

来自斯坦福大学、哥伦比亚大学、丰田研究院的研究人员推出了一数据收集和政策学习框架Universal Manipulation Interface（UMI），它允许人们直接从野外的人类演示中转移技能，然后部署到机器人策略中。换句话说，这个框架的目标是让机器人能够通过学习人类的操作方式，来掌握并完成各种任务。 项目主页：h... 阅读全文