来自斯坦福大学、哥伦比亚大学、丰田研究院的研究人员推出了一数据收集和政策学习框架Universal Manipulation Interface（UMI），它允许人们直接从野外的人类演示中转移技能，然后部署到机器人策略中。换句话说，这个框架的目标是让机器人能够通过学习人类的操作方式，来掌握并完成各种任务。
项目主页：https://umi-gripper.github.io
GitHub地址：https://github.com/real-stanford/universal_manipulation_interface
UMI通过手持夹具和精心设计的接口，实现了便携式、低成本且信息丰富的数据收集，适用于具有挑战性的双手和动态操作演示。为了促进可部署的策略学习，UMI结合了一个精心设计的政策接口，实现了推理时延匹配和相对轨迹动作表示。通过这些特点，UMI框架解锁了新的机器人操作能力，允许零样本（zero-shot）泛化动态、双手、精确和长期任务的行为，只需为每个任务改变训练数据。UMI的硬件和软件系统已经开源。
主要功能：
- 从野外的人类演示中学习并转移技能到机器人。
- 实现了硬件无关的策略，可以在多个机器人平台上部署。
- 支持动态、双手、精确和长期操作任务。
主要特点：
- 便携性： UMI夹具可以轻松携带到任何环境，快速开始数据收集。
- 能力： 能够捕捉和转移自然且复杂的人类操作技能，超越简单的抓取和放置。
- 充足性： 收集的数据包含足够的信息，用于学习有效的机器人策略，同时尽量减少特定于硬件的信息，以便于策略的转移。
- 可重复性： 研究人员和爱好者可以一致地构建UMI夹具，并使用数据来训练自己的机器人。
工作原理：
- 演示接口设计： UMI使用手持3D打印的平行夹具，配备GoPro相机作为唯一的传感器和记录设备。通过使用鱼眼镜头和侧镜，UMI能够提供足够的视觉上下文和深度信息。同时，利用GoPro内置的IMU数据，UMI能够准确捕捉快速运动。
- 策略接口设计： UMI策略接受一系列同步观察（RGB图像、6自由度末端执行器姿态和夹具宽度），并产生一系列动作（末端执行器姿态和夹具宽度）。策略接口设计考虑了硬件特定的时延和特定于硬件的本体感知，以确保策略在不同机器人平台上的通用性。
具体应用场景：
- 家庭服务机器人： UMI可以用于训练机器人执行日常家务，如整理杯子、折叠衣物、洗碗等。
- 工业自动化： 在制造业中，UMI可以帮助机器人学习复杂的装配和操作任务。
- 医疗辅助： UMI可以用于训练机器人进行精细的医疗操作，如手术工具的操控。
- 探索和救援： UMI可以用于训练机器人在复杂环境中进行搜索和救援任务。
总的来说，UMI框架通过简化数据收集过程并提高策略的通用性，为机器人操作技能的学习和部署提供了一个强大的工具。
0条评论