石溪大学和威斯康星大学麦迪逊分校的研究人员推出新框架LLaRA（Large Language and Robotics Assistant），它将大语言模型（LLMs）的广泛世界知识和强大的推理能力应用于机器人学习领域。LLaRA框架的核心思想是将机器人的动作策略制定过程转化为一种对话形式，通过训练，使得模型能够根据视... 阅读全文

字节跳动研究院和香港科技大学的研究人员推出新型交互式真实机器人动作模拟器IRASim，这个模拟器的核心功能是利用生成模型的能力，从给定的初始帧和动作轨迹生成极其逼真的机器人臂部执行动作的视频。简单来说，IRASim就像一个高级的“虚拟导演”，能够根据提供的场景和动作指令，预演出机器人完成任务的过程。 项目主页：http... 阅读全文

英伟达推出机器人学习系统RVT-2，它的全称是“Robotic View Transformer 2”。RVT-2是一个先进的模型，专门设计用来让机器人通过少量的演示就能学会执行多种三维（3D）操作任务，并且这些任务的执行精度非常高，可以达到毫米级别。RVT-2模型通过结合多种架构和系统级别的改进，显著提高了机器人3D... 阅读全文

斯坦福大学、加州大学伯克利分校、丰田研究院、Google DeepMind和麻省理工学院推出OpenVLA，它是一个拥有7亿参数的视-语-行模型（Vision-Language-Action Model，简称VLA）。简单来说，OpenVLA就像是一个多才多艺的机器人大脑，它能够理解人类的语言指令，并通过自己的“眼睛”... 阅读全文

加州大学伯克利分校、斯坦福大学、卡内基梅隆大学和谷歌DeepMind推出开源通用机器人策略模型Octo，Octo基于transformer架构，并通过在800,000个多样化的机器人操作轨迹上进行预训练，这些轨迹来自Open X-Embodiment数据集。这个模型的特点是支持灵活的任务定义和观察方式，并且能够快速适应... 阅读全文

斯坦福大学的研究团队发布论文，这篇论文的主题是关于如何将模拟环境中学习到的机器人策略成功地转移到现实世界中，这在机器人学习领域被称为“仿真到现实（Sim-to-Real）”的转换。例如，你在一个视频游戏中练习驾驶赛车，然后你想要将你在游戏里学到的技能应用到真实世界中的驾驶。这听起来可能很简单，但现实情况要复杂得多，因为... 阅读全文

LeRobot 是一个专注于 PyTorch 平台的机器学习项目，旨在为现实世界中的机器人技术提供先进的模型、数据集和工具。通过降低技术门槛，我们希望让更多人能够轻松地参与到机器人技术的研究和开发中来。 LeRobot 目标是简化机器人技术的入门过程，让贡献和共享变得更加容易。LeRobot 提供了丰富的资源，包括： ... 阅读全文

北京通用人工智能国家重点实验室、 清华大学自动化系、北京大学人工智能研究院、加州大学洛杉矶分校和北京大学电子电气与计算机学院的研究人员推出Ag2Manip框架，机器人系统自主学习新的操作技能，特别是在没有特定领域示范的情况下。这项研究的目标是提高机器人在制造、服务自动化等行业的自主性和适应性。 例如，我们有一个机器人，... 阅读全文

来自上海人工智能实验室OpenRobotLab、上海交通大学、浙江大学和香港中文大学的研究人员发布关于四足机器人在复杂环境中稳定运动控制的研究论文。四足机器人在现实世界中的应用越来越广泛，比如在灾难救援或野外探索等场景中，它们需要在不平坦的地面上行走，同时还要能够抵抗各种外部干扰，比如强风或落石等。为了提高机器人的这种... 阅读全文

这篇论文介绍了一种新颖的方法OpenRoboExp，用于驱动仿真机器人（animatronic robots）的面部表情与人类的语音同步。想象一下，你正在与一个机器人对话，这个机器人能够根据你说的内容和说话时的情感变化，实时地展示出相应的面部表情，比如微笑、皱眉或者张嘴，这将使得人与机器人的互动更加自然和真实。总的来说... 阅读全文

这篇论文介绍了一种名为NeuFlow的新型光学流估计架构，这是一种在机器人和其他边缘设备上实时、高精度估计图像中物体运动的技术。光学流估计在计算机视觉领域扮演着重要角色，它帮助我们理解图像中物体是如何移动的，这对于机器人定位、地图构建、物体追踪和活动识别等应用至关重要。 主要功能： NeuFlow的主要功能是提供一种既... 阅读全文

Google DeepMind推出新型框架Vid2Robot，它是一个让机器人通过观看人类执行任务的视频来学习并执行相同任务的系统。简而言之，Vid2Robot能够让机器人通过观察人类的动作视频来理解任务意图，并在自己的环境中复现这些动作。 主要功能和特点： 视频条件策略学习： Vid2Robot可以直接从人类演示视频... 阅读全文