纽约大学、Hello Robot、Meta的研究人员推出新的机器人框架Robot Utility Models（RUMs），它旨在训练能够在新环境中零样本部署的机器人策略。这些策略能够在没有进一步微调的情况下，直接泛化到新的环境和对象上。总的来说，RUMs通过结合多模态学习和自我批评机制，提高了机器人在新环境中的自主性和适应性，使其能够在没有人类干预的情况下执行多种任务。
- 项目主页：https://robotutilitymodels.com
- GitHub：https://github.com/haritheja-e/robot-utility-models
例如，你有一个机器人，它能够在没有人类指导的情况下，进入一个全新的厨房，打开橱柜门或抽屉，捡起餐巾纸或纸袋，甚至重新定位掉落的物品。这就是RUMs的目标——创建能够在各种新环境中执行有用任务的机器人模型，而无需针对每个新环境进行特定训练。
主要功能：
- 零样本部署：RUMs能够在没有针对特定环境进行微调的情况下，在新环境中执行任务。
- 多模态行为生成模型：通过整合视觉和语言信息，生成能够控制机器人行为的策略。
- 自我批评和重试机制：使用大型多模态语言模型（mLLM）来评估任务执行情况，并在失败时自动重试。
主要特点：
- 数据驱动：通过大规模、多样化的任务特定数据集训练。
- 泛化能力：能够处理在训练期间未见过的新环境和对象。
- 实时反馈：通过mLLM提供实时反馈，以检测和纠正执行中的错误。
工作原理：
- 数据收集：使用便携式数据收集工具（如iPhone Pro和定制夹持器）在多种环境中收集数据。
- 模型训练：利用收集的数据训练多模态行为生成模型，使其能够根据视觉输入预测机器人的动作。
- 自我批评：在执行任务时，使用mLLM检查任务是否成功完成。如果mLLM判断失败，机器人将重置并重试任务。
- 零样本部署：将训练好的模型部署到新环境中，无需额外训练或微调。
具体应用场景：
- 家庭自动化：在家庭环境中执行日常任务，如整理物品、打开橱柜门或抽屉。
- 仓库管理：在仓库中自动执行物品分类和存储任务。
- 服务机器人：在餐厅或酒店中提供服务，如收拾餐具或整理空间。
0条评论