上海人工智能实验室OpenRobotLab、浙江大学、上海交通大学、清华大学、南京大学、香港中文大学和西安电子科技大学的研究人员推出虚拟仿真平台GRUtopia，它是为了推动和评估高级具身智能（Embodied AI）研究而设计的。具身智能，简单来说，就是让机器或机器人能够通过身体与环境互动，完成一些任务，比如导航、社交互动和物体操控。
- 项目主页：https://grutopia.github.io
- GitHub：https://github.com/OpenRobotLab/GRUtopia
例如，你是一个机器人，你的任务是在一个虚拟超市中找到一瓶牛奶并放到购物车里。在GRUtopia中，你可以通过与NPC店员交流获取线索，使用你的感知系统来识别牛奶和购物车的位置，然后规划一条路径到达目的地，并执行拿起牛奶并放入购物车的动作。这个过程中，你展示了导航、社交互动和操控能力。
主要功能和特点：
- 大规模3D社会场景（GRScenes）：GRUtopia拥有一个包含10万个高度互动、精细标注场景的大规模场景数据集，这些场景可以自由组合成城市规模的环境。这与之前主要关注家庭环境的研究不同，GRScenes覆盖了89种不同的场景类别，包括餐厅、超市、办公室、图书馆、博物馆、医院等，为服务导向型机器人提供了更广泛的应用场景。
- NPC系统（GRResidents）：这是一个由大型语言模型（LLM）驱动的非玩家角色（NPC）系统，负责社交互动、任务生成和任务分配，模拟了具身AI应用中的社交场景。
- 基准测试（GRBench）：这是一个评估工具，支持各种机器人，特别是以腿部机器人为主要代理，并提出了一系列具有适度挑战性的任务，包括物体定位导航、社交定位导航和定位操控。
工作原理：
- 场景与对象的精细标注：GRUtopia中的每个场景和对象都有详细的标注，包括物理属性、外观和结构信息，这些信息帮助机器人更好地理解和互动。
- NPC的智能互动：NPC系统能够理解场景语义，实时观察其他代理的活动，并基于这些信息进行动态对话和任务分配。
- 基准测试的评估：通过GRBench，研究人员可以评估机器人代理在执行日常任务方面的能力，包括导航、社交互动和操控物体。
具体应用场景：
- 机器人训练与测试：在GRUtopia中，机器人可以在接近真实世界的复杂环境中进行训练和测试，提高其在现实世界中执行任务的能力。
- 算法研究与开发：研究人员可以使用这个平台来开发和测试新的算法，特别是在机器人的感知、规划和控制方面。
- 教育与展示：GRUtopia也可以作为教育工具，帮助学生理解具身智能的概念，或者作为技术展示平台，向公众展示机器人技术的最新进展。
0条评论