加州大学圣地亚哥分校、卡耐基梅隆大学、 麻省理工学院和 IAIFI的研究团队推出GeFF（Generalizable Feature Fields）系统，它是一种用于移动操作机器人的先进技术。想象一下，你有一个机器人助手，它可以在你的指导下，比如“去拿一瓶饮料”，然后在一个充满各种物品的房间里找到并拿起一瓶饮料。这就是GeFF系统所做的事情。
移动操作中的一个开放问题是如何以统一的方式表示物体和场景，使得机器人能够利用这一表示进行环境导航和物体操作。操作物体需要捕捉复杂的几何结构并理解精细的语义信息，而导航则涉及捕获扩展到广阔物理空间的复杂性。在这项工作中，我们提出了GeFF（可泛化的特征场），这是一种场景级别的可泛化神经特征场，可作为导航和操作的统一表示，并能实时运行。为此，我们将生成新颖视图合成作为预训练任务，然后通过CLIP特征蒸馏将得到的丰富场景先验与自然语言对齐。我们通过在配备操作器的四足机器人上部署GeFF，证明了这一方法的有效性。我们评估了GeFF在开放集物体上的泛化能力，以及它在动态场景中执行开放词汇移动操作时的运行效率。
主要功能：
GeFF的主要功能是为机器人提供一种统一的场景表示方法，这样机器人就可以同时进行导航和操作任务。它结合了几何和语义信息，使机器人能够理解环境并根据语言指令执行任务。
主要特点：
- 实时更新： GeFF能够实时更新场景表示，适应机器人在移动过程中环境的变化。
- 多模态理解： 它通过结合视觉和语言模型（如CLIP），使机器人能够理解语言指令并将其与场景中的物体相匹配。
- 开放词汇： GeFF支持开放词汇的操作，意味着它可以处理在训练期间未见过的物体。
工作原理： GeFF通过使用神经渲染技术（NeRF）来学习场景的几何和语义特征。它首先通过生成新视角的图像作为预训练任务来学习场景。然后，通过特征蒸馏，将这些特征与自然语言模型对齐，以便机器人可以根据语言指令识别和操作物体。在运行时，机器人使用RGB-D相机扫描环境，并利用GeFF构建3D场景表示，同时更新特征场。这使得机器人可以根据语言指令搜索目标物体，并执行导航和抓取任务。
具体应用场景：
- 家庭助手： 机器人可以帮助完成家务，如根据指令找到并拿起物品。
- 仓库管理： 在仓库中，机器人可以使用GeFF来导航并挑选出特定的货物。
- 户外任务： 机器人可以在户外环境中执行任务，如在草坪上避开障碍物或在停车场中从汽车后备箱中取出物品。
总的来说，GeFF是一个强大的系统，它通过结合先进的神经网络和特征蒸馏技术，为移动操作机器人提供了一种灵活且强大的感知和执行任务的能力
0条评论