石溪大学和威斯康星大学麦迪逊分校的研究人员推出新框架LLaRA（Large Language and Robotics Assistant），它将大语言模型（LLMs）的广泛世界知识和强大的推理能力应用于机器人学习领域。LLaRA框架的核心思想是将机器人的动作策略制定过程转化为一种对话形式，通过训练，使得模型能够根据视觉和文本输入生成最优的策略决策。这个框架的提出，不仅展示了在机器人学习领域应用大型语言模型的潜力，也为未来机器人的自主决策和人机交互提供了新的可能性。
- GitHub：https://github.com/LostXine/LLaRA
例如，一个机器人需要在桌面上将一个胡萝卜放入碗中。LLaRA框架会将这个任务转化为一系列自然语言指令，如“拿起胡萝卜”，“旋转0度”，“放入(0.5, 0.5)位置”。机器人通过内置的VLM理解和执行这些指令，完成指定的任务。
主要功能：
- 对话式策略生成：LLaRA能够将视觉和语言输入转化为自然语言描述的机器人动作指令。
- 自动化数据生成：通过自动化流程从现有的行为克隆数据中生成多样化、高质量的机器人指令数据。
- 自我监督学习：通过自我监督的方式生成辅助数据集，增强机器人策略学习。
主要特点：
- 多模态能力：结合视觉和语言模型（VLMs），处理视觉-文本提示并生成文本形式的决策。
- 自我监督的辅助数据：无需外部数据，利用现有数据生成辅助数据集，提升学习效果。
- 模拟和现实世界环境的实验验证：在多个模拟和真实环境中测试了LLaRA框架的有效性。
工作原理：
- 行为克隆数据转换：将专家的机器人操作轨迹转换成对话式的指令数据（inBC）。
- VLM微调：使用转换后的数据集对预训练的视觉语言模型进行微调，使其能够根据视觉和文本输入生成动作指令。
- 辅助数据生成：从同一行为克隆数据中生成辅助数据集，通过自我监督的方式增强模型对场景的空间和时间关系的学习能力。
- 推理和执行：在推理阶段，LLaRA根据当前的视觉观察和任务描述生成动作指令，然后机器人执行这些动作。
具体应用场景：
- 模拟环境任务：在模拟环境中执行多种机器人操作任务，如物品拾取、放置和旋转。
- 现实世界机器人操作：在现实世界中，LLaRA可以指导机器人完成零样本泛化、微调和联合训练任务。
- 教育和研究：在教育和研究领域，LLaRA可以作为机器人学习的一个工具，帮助学生和研究人员理解机器人如何通过对话和视觉输入来制定动作策略。
0条评论