卡内基梅隆大学、Meta和苏黎世联邦理工学院的研究人员推出Omnigrasp，它可以让虚拟的仿人机器人（humanoids）能够抓住各种不同的物体，并让这些物体沿着复杂的轨迹移动。想象一下，就像是一个电子游戏里的角色，不仅能拿起一个苹果，还能让它沿着一个曲线抛向空中，然后再接住它。
- 项目主页：https://www.zhengyiluo.com/Omnigrasp-Site
例如，你正在制作一个虚拟现实游戏，游戏中的角色需要在不同的环境下与各种物体互动。使用Omnigrasp，你可以让这些角色拿起物体，沿着玩家指定的轨迹移动，甚至在复杂的场景中进行精确的操作，如在虚拟厨房中拿起并操作厨具。这不仅提升了游戏的互动性，也使得角色的动作更加逼真和自然。
主要功能：
- 抓取多种物体：Omnigrasp能够控制仿人机器人抓住超过1200种不同的物体。
- 跟随复杂轨迹：这些物体可以被移动并沿着随机生成的复杂轨迹行进。
主要特点：
- 通用性：Omnigrasp使用一种预训练的通用运动表示，这使得它能够快速学习和适应不同的物体和轨迹。
- 简化的训练：它不需要成对的全身运动和物体轨迹数据集进行训练，只需要物体的网格模型和期望的轨迹。
- 高成功率：在跟随物体轨迹和抓取物体方面，Omnigrasp展示了最先进的成功率。
工作原理：
Omnigrasp的核心在于使用一种称为“PULSE-X”的运动表示，这种表示通过从大规模人类运动数据库中学习，提供了一个紧凑且高效的动作空间。这种方法的关键洞察是利用这种运动表示作为动作空间，从而避免了直接在关节驱动空间上使用强化学习（RL）进行训练，这会导致不自然的运动并引发严重的探索问题。
- PULSE-X训练：首先通过模仿学习训练一个运动表示，然后通过变分信息瓶颈（类似于VAE）将其蒸馏成运动表示。
- 抓取策略：使用这种运动表示，设计了一个分层的RL框架，通过简单的状态和奖励设计引导预抓取（pre-grasps）来抓取物体。
- 状态和奖励设计：状态只包含物体和轨迹跟随信息，而奖励则利用预抓取指导来训练策略。
具体应用场景：
- 动画制作：在动画和虚拟现实/增强现实（AV/VR）中创建逼真的人类与物体的互动。
- 机器人技术：将这种控制技术转移到真实的仿人机器人上，用于执行复杂的物体操作任务。
- 模拟训练：在模拟环境中训练机器人进行精细的操作，如在工厂自动化或服务机器人中使用。
0条评论