清华大学研究院、上海交通大学、香港大学、北京大学、上海启智研究院和上海人工智能实验室的研究人员推出Maniwhere，这是一个针对视觉强化学习的通用框架，使训练后的机器人策略能够在多种视觉干扰类型的组合中实现泛化。具体而言，研究团队引入了一种结合空间变换网络（STN）模块的多视图表示学习方法，用于捕获不同视角之间的共享... 阅读全文

斯坦福大学的研究人员推出GET-Zero，它是一种用于机器人控制的模型架构和训练过程，能够实现对新硬件变化的立即适应，而无需重新训练。简单来说，GET-Zero通过一种称为Graph Embodiment Transformer（GET）的变换器模型，利用机器人的物理结构（即其关节和链接的图结构）作为学习到的结构偏差，... 阅读全文

上海启智研究院、 浙江大学、上海交通大学和清华大学的研究人员推出创新系统“Cross Anything System”（简称CAS），它是一个用于四足机器人的导航系统，能够使机器人穿越复杂的3D地形到达目标位置。这个系统由一个高级推理模块和一个低级控制策略组成，它们共同工作，让机器人能够自主地规划路径并适应各种地形。例... 阅读全文

马里兰大学帕克分校、清华大学、加州大学圣地亚哥分校的研究人员推出创新方法Make-An-Agent，它是一个能够生成通用策略网络的系统。简单来说，就是通过观察一个智能体（比如机器人）的行为，这个系统能够自动生成控制这个智能体的策略，就像我们通过一段文本描述就能生成图像一样。这种方法大大简化了机器人控制策略的开发过程，使... 阅读全文

上海人工智能实验室OpenRobotLab、浙江大学、上海交通大学、清华大学、南京大学、香港中文大学和西安电子科技大学的研究人员推出虚拟仿真平台GRUtopia，它是为了推动和评估高级具身智能（Embodied AI）研究而设计的。具身智能，简单来说，就是让机器或机器人能够通过身体与环境互动，完成一些任务，比如导航、社... 阅读全文

华为诺亚方舟的研究人员推出ROS-LLM框架，它是一个用于机器人编程的系统，可以让没有专业机器人编程知识的普通人通过自然语言提示和上下文信息来指导机器人完成任务。简单来说，这个系统就像是一个能够理解人类语言的机器人大脑，它能够根据人们用日常语言描述的任务要求来控制机器人的动作。 GitHub：https://githu... 阅读全文

石溪大学和威斯康星大学麦迪逊分校的研究人员推出新框架LLaRA（Large Language and Robotics Assistant），它将大语言模型（LLMs）的广泛世界知识和强大的推理能力应用于机器人学习领域。LLaRA框架的核心思想是将机器人的动作策略制定过程转化为一种对话形式，通过训练，使得模型能够根据视... 阅读全文

字节跳动研究院和香港科技大学的研究人员推出新型交互式真实机器人动作模拟器IRASim，这个模拟器的核心功能是利用生成模型的能力，从给定的初始帧和动作轨迹生成极其逼真的机器人臂部执行动作的视频。简单来说，IRASim就像一个高级的“虚拟导演”，能够根据提供的场景和动作指令，预演出机器人完成任务的过程。 项目主页：http... 阅读全文

英伟达推出机器人学习系统RVT-2，它的全称是“Robotic View Transformer 2”。RVT-2是一个先进的模型，专门设计用来让机器人通过少量的演示就能学会执行多种三维（3D）操作任务，并且这些任务的执行精度非常高，可以达到毫米级别。RVT-2模型通过结合多种架构和系统级别的改进，显著提高了机器人3D... 阅读全文

斯坦福大学、加州大学伯克利分校、丰田研究院、Google DeepMind和麻省理工学院推出OpenVLA，它是一个拥有7亿参数的视-语-行模型（Vision-Language-Action Model，简称VLA）。简单来说，OpenVLA就像是一个多才多艺的机器人大脑，它能够理解人类的语言指令，并通过自己的“眼睛”... 阅读全文

加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind推出开源通用机器人策略模型Octo，Octo基于transformer架构，并通过在800,000个多样化的机器人操作轨迹上进行预训练，这些轨迹来自Open X-Embodiment数据集。这个模型的特点是支持灵活的任务定义和观察方式，并且能够快速适应... 阅读全文

斯坦福大学的研究团队发布论文，这篇论文的主题是关于如何将模拟环境中学习到的机器人策略成功地转移到现实世界中，这在机器人学习领域被称为“仿真到现实（Sim-to-Real）”的转换。例如，你在一个视频游戏中练习驾驶赛车，然后你想要将你在游戏里学到的技能应用到真实世界中的驾驶。这听起来可能很简单，但现实情况要复杂得多，因为... 阅读全文