来自上海启智研究院、上海交通大学、清华大学、上海人工智能实验室的研究人员推出新型视觉模仿学习方法3D Diffusion Policy (DP3)，这种方法通过结合3D视觉表示和扩散策略，使得机器人能够在模拟和现实世界任务中高效地学习复杂技能。DP3的核心设计是利用从稀疏点云中提取的紧凑3D视觉表示，这些表示通过一个高效的点编码器生成。
项目主页：https://3d-diffusion-policy.github.io
GitHub：https://github.com/YanjieZe/3D-Diffusion-Policy
主要功能和特点：
- 高效学习： DP3能够在仅使用少量示范（例如10次）的情况下，成功处理大多数任务，并在72个模拟任务中比基线方法提高了55.3%的相对改进。
- 泛化能力： DP3在空间、视点、外观和实例等多个方面展现出优秀的泛化能力。
- 安全性： 在真实机器人实验中，DP3很少违反安全要求，而基线方法则经常需要人工干预以防止潜在的硬件损坏。
工作原理：
- 感知模块： DP3通过单视点相机获取点云数据，并使用一个轻量级多层感知器（MLP）网络将这些点云编码为紧凑的3D表示。
- 决策模块： DP3使用条件去噪扩散模型作为行动生成的骨干，该模型基于3D视觉特征和机器人姿态，将随机高斯噪声逐步去噪为行动序列。
具体应用场景：
- 模拟任务： DP3在72个不同的模拟任务中进行了测试，这些任务涵盖了从简单的抓取到复杂的双手操作等多种机器人技能。
- 真实世界任务： DP3在真实机器人上进行了4个挑战性操作任务的测试，包括制作卷饼、包饺子、钻孔和倒水等，这些任务展示了DP3在处理可变形物体时的精确控制能力。
总的来说，DP3通过其创新的设计，在机器人学习领域提供了一种高效、安全且具有强大泛化能力的方法。这种方法有望在实际的机器人应用中发挥重要作用，尤其是在需要快速学习和适应新任务的场景中。
0条评论