来自上海人工智能实验室OpenRobotLab、上海交通大学、浙江大学和香港中文大学的研究人员发布关于四足机器人在复杂环境中稳定运动控制的研究论文。四足机器人在现实世界中的应用越来越广泛，比如在灾难救援或野外探索等场景中，它们需要在不平坦的地面上行走，同时还要能够抵抗各种外部干扰，比如强风或落石等。为了提高机器人的这种抗干扰能力，研究人员提出了一种新的学习方法，通过模拟机器人与环境之间的对抗性互动来进行训练。
例如，一个四足机器人在崎岖的山地环境中执行探索任务。在这种环境中，机器人可能会遇到不稳定的地面、强风或其他意想不到的障碍。通过这篇论文中提出的方法训练后，机器人能够更好地适应这些挑战，保持稳定行走，即使在遭受外部冲击时也不会失去平衡。这不仅提升了机器人的实用性，也增强了其在复杂环境中的生存能力。
主要功能和特点：
- 对抗性训练：论文中提出了一个新颖的训练框架，让机器人（actor）和一个新引入的干扰器（disturber）进行对抗性互动。这种训练方式可以让机器人在面对真实世界的复杂干扰时表现得更加稳定和适应性强。
- H-Infinity约束优化：为了确保训练过程中的稳定性，研究人员引入了经典的H-Infinity控制理论来优化机器人和干扰器的互动。通过限制干扰器生成的外力与任务奖励之间的误差比率，可以保证机器人在面对一定强度的外部力量时，性能不会下降太多。
- 自适应外部力量：与以往简单的随机扰动不同，论文中的方法能够根据机器人当前的行为策略状态，自适应地生成有效的外部力量，从而更有效地训练机器人的抗干扰能力。
- 模拟和现实世界验证：研究人员不仅在模拟环境中验证了方法的有效性，还将其应用在了真实世界的四足机器人上，展示了其在多种地形和干扰下的性能。
工作原理：
- Proximal Policy Optimization (PPO)：使用PPO作为优化算法，因为它适用于大规模并行模拟环境，并且被大多数机器人学习工作采用。
- 扰动生成：设计了一个干扰器来生成自适应的外部力量，与机器人的行为策略进行对抗。
- H-Infinity约束：通过H-Infinity理论中的方法，引入了一个约束来限制外部力量的强度和任务奖励之间的比率，确保机器人在面对外部干扰时的性能。
具体应用场景：
- 多地形行走：四足机器人可以在楼梯、高台、斜坡和滑溜地形上行走。
- 抗干扰任务：在面对各种干扰，如身体上的随机推动和与重物的碰撞时，机器人能够保持稳定。
- 模拟到现实的转移：学习到的策略能够在真实世界中有效执行，即使在油滑平面上或仅用后腿站立时面对随机推动和碰撞。
0条评论