MAUM.AI和延世大学的研究人员推出了一个名为CANVAS的系统，它是一个让机器人能够理解人类导航指令并据此行动的框架。想象一下，如果你告诉机器人“走到大厅另一边的桌子那里”，CANVAS能够让机器人理解这样抽象的指令，并在环境中穿行以到达目的地。它通过模仿人类的行为来学习如何根据视觉和语言指令进行导航。 项目主页：... 阅读全文

清华大学交叉信息科学研究院、加州大学圣地亚哥分校、上海交通大学、麻省理工学院 CSAIL的研究人员推出了一个名为GenSim2的框架，它是一个用于机器人模拟的数据生成系统。GenSim2利用了多模态和推理能力的大语言模型（LLMs），来自动创建复杂且逼真的模拟任务和场景，特别是那些涉及长时序和复杂物体操作的任务。这些任... 阅读全文

加州大学伯克利分校的研究人员推出一种名为“Robot See Robot Do”（RSRD）的新方法，它能让机器人通过观看人类的单眼（monocular）视频演示来学习操纵有活动部件的物体。这种方法可以用于多种场景，比如教机器人如何使用剪刀或打开工具箱等。例如，你有一个机器人，你想要教它如何使用剪刀。你可以简单地把剪刀... 阅读全文

密歇根大学计算机科学与工程系和密歇根大学机器人系的研究人员推出RACER，让机器人在进行物体操控任务时更加健壮和能够自我纠错。我们可以把机器人想象成一个刚开始学做家务的孩子，孩子在尝试把饼干放到架子上时可能会犯错，比如抓错了物体或者没有抓稳。这篇论文提出的方法就像是给孩子一个指导手册，告诉它在犯错后如何纠正自己，并且能... 阅读全文

盛顿大学、谷歌 Deepmind和卡内基梅隆大学的研究人员推出新技术，它能让四足机器人在不连续的地形（比如楼梯和跳石头）上进行敏捷、连续、适应地形的跳跃。这就像是教会机器人在复杂的地面上像动物一样跳跃，而不仅仅是简单地行走。 项目主页：https://yxyang.github.io/jumping_cod GitHu... 阅读全文

纽约大学、Hello Robot、Meta的研究人员推出新的机器人框架Robot Utility Models（RUMs），它旨在训练能够在新环境中零样本部署的机器人策略。这些策略能够在没有进一步微调的情况下，直接泛化到新的环境和对象上。总的来说，RUMs通过结合多模态学习和自我批评机制，提高了机器人在新环境中的自主性... 阅读全文

加州大学伯克利分校和Autodesk的研究人员推出新型机器人学习模型ICRT，ICRT的核心目标是通过一种新颖的“在上下文中学习”（in-context learning）方法，让机器人能够在没有额外训练的情况下，通过理解输入的上下文信息来执行新任务。例如，我们有一个机器人，需要它在不同的环境中执行拾取和放置物体的任务... 阅读全文

Meta推出一个名为Sapiens的模型家族，它们是专门为理解人类视觉任务而设计的一系列模型。Sapiens模型经过微调，能够执行四大类与人类相关的基本视觉任务：2D姿态估计、身体部位分割、深度估计和表面法线预测。这些模型原生支持高达1K分辨率的高分辨率推理，并且通过简单地微调预训练模型，就能轻松适应个别任务。 项目主... 阅读全文

普渡大学和阿肯色大学的研究人员推出新型机器人触觉表示学习方法UniT，机器人需要通过触觉来感知和操作物体，就像人类通过手触摸东西一样。UniT就是帮助机器人更好地理解和使用这种触觉信息的一种技术。此外，论文还讨论了UniT在未来可能的研究方向，比如将其扩展到软物体的触觉表示学习，以及开发能够理解物理属性的触觉表示。这些... 阅读全文

由Google DeepMind开发的机器人乒乓球系统，这个系统能够与人类选手进行竞技性的乒乓球比赛。研究人员开发了第一个通过学习达到业余人类水平的机器人乒乓球选手。这个机器人通过模仿人类选手的动作和策略，能够在真实世界中进行快速、准确的乒乓球比赛。例如，一个中级选手与机器人进行比赛，机器人可能会使用一系列中等难度的策... 阅读全文

伦敦帝国理工学院和谷歌 DeepMind的研究人员推出新框架Diffusion Augmented Agents（简称DAAG），它结合了大语言模型、视觉语言模型和扩散模型，以提高强化学习中具身代理（embodied agents）的样本效率和迁移学习能力。简单来说，DAAG是一个帮助机器人或虚拟代理更好地学习和适应新... 阅读全文

石溪大学的研究人员推出新型视觉基础模型Theia，它是专门为机器人学习设计的。Theia的核心特点是能够从多个现成的视觉基础模型（VFMs）中提取和融合知识，以提供更丰富的视觉表示，从而增强机器人在各种视觉任务中的学习能力。例如，你有一个机器人，你希望它能看懂周围的世界，比如识别物体、理解空间关系，甚至根据视觉信息来做... 阅读全文