LMPC是一个创新的框架，它通过结合大语言模型（LLMs）的强大语言理解和生成能力，以及MPC的决策优化技术，显著提高了机器人在复杂任务中的学习速度和适应性。LMPC的核心思想是利用人类反馈来微调LLMs，使其能够更有效地理解和执行人类的指令，从而提高机器人完成任务的效率。
项目主页：https://robot-teaching.github.io
LMPC旨在提高机器人编写代码的大语言模型（LLM）的可教授性，即使其能够更快地适应人类的语言反馈。一个关键的观察是，当人机交互（HRI）被建模为一个部分可观察马尔可夫决策过程（POMDP，其中人类的语言输入作为观察，而机器人的代码输出作为行动）时，训练LLM以自回归的方式完成先前的交互可以被看作是在训练一个转移动力学模型。这个模型可以与经典的机器人技术（如模型预测控制MPC）相结合，以发现达到理想结果的更短路径（这些路径也由模型预测）。具体来说，LMPC微调了LLM，使其能够预测基于语言的人机交互的未来展开情况。在推理时，该模型以非零解码温度采样多个未来场景，以搜索最佳的一个，并据此采取下一个行动（即，采用退缩视界控制作为解码策略）。
主要功能：
- 提高LLMs在机器人任务中的适应性和学习能力。
- 通过人类反馈快速调整机器人行为。
- 在多步骤交互中记住并利用之前的交互信息。
主要特点：
- 部分可观测马尔可夫决策过程（POMDP）：将人机交互视为一个POMDP，其中人类的语言输入作为观察，机器人代码输出作为动作。
- 模型预测控制（MPC）：结合MPC技术，LMPC能够在推理时搜索最优路径，以减少达到任务成功所需的交互次数。
- 用户反馈的利用：LMPC能够理解和响应用户的反馈，从而更准确地执行任务。
- 跨任务和跨机器人平台的泛化能力：LMPC训练的模型能够在未见过的任务和机器人平台上表现良好。
工作原理：
- 数据收集：通过模拟环境收集非专家用户使用自然语言教机器人执行任务的数据。
- 模型训练：使用LMPC框架对LLM进行微调，使其能够预测和完成人类-机器人交互。
- 推理时搜索：在实际交互中，LMPC结合MPC技术，通过生成多个未来交互的预测来寻找最佳动作序列。
具体应用场景：
- 机器人教学：非专家用户可以通过自然语言指令教机器人执行各种任务，如移动、抓取、搬运物体等。
- 模拟和现实世界部署：LMPC框架可以在模拟环境中训练，然后将学到的技能迁移到真实世界的机器人上。
- 个性化学习：LMPC能够识别表现最好的用户（top users），并利用他们的交互数据来提高所有用户的学习效率。
0条评论