苏黎世联邦理工学院和Meta Reality Labs的研究人员推出WalkTheDog，这种新方法来理解和对齐不同形态（如人和狗）的运动数据集。这个方法的核心是“相位流形（Phase Manifolds）”，它能够将具有不同骨骼结构的角色的运动数据映射到一个共享的空间中，而不需要任何监督信号或骨骼结构的对应关系。这项技术为动画制作、虚拟现实、游戏开发等领域提供了强大的工具，使得运动数据的复用和转换变得更加简单和高效。
- 项目主页：https://peizhuoli.github.io/walkthedog
- GitHub：https://github.com/PeizhuoLi/walk-the-dog
例如，你正在制作一个动画电影，里面有一个人类角色和一个狗角色。尽管它们的身体结构完全不同，但你希望狗能够模仿人类角色的某些动作。使用“WalkTheDog”技术，你可以将人类角色的运动数据映射到相位流形上，然后找到与之相似的狗的运动数据，并将这些数据应用到狗角色上，从而实现运动的无缝转移。
主要功能和特点：
- 跨形态运动对齐：无论是人类还是动物，甚至是虚构的生物，这个方法都能够理解和对齐它们的运动模式。
- 无需监督学习：它不需要预先标记好的数据或者复杂的训练过程，就能够自动学习和对齐运动数据。
- 高维空间中的嵌入：通过将运动数据嵌入到高维空间中的椭圆（流形的组成部分），相似的运动会被聚集在一起。
工作原理：
- 相位流形：这是一个由多个闭合曲线组成的高维空间，每条曲线代表一个潜在的振幅。运动数据被映射到这些曲线上，相似的运动会被映射到同一条曲线上。
- 向量量化周期自编码器（VQ-PAE）：这是一种特殊的神经网络，用于学习如何将运动数据嵌入到相位流形上。它通过一个编码器-解码器框架来实现，编码器将输入的运动序列映射到相位流形上的一个点，而解码器则尝试从这个点重构原始的运动序列。
具体应用场景：
- 运动检索：在动画制作或游戏开发中，可以根据角色当前的运动状态快速检索出相似的运动序列。
- 运动转移：将一种运动从一个角色转移到另一个完全不同的角色上，例如将狗的走路动作应用到一个虚拟角色上。
- 运动风格化：改变运动的风格，比如将一个角色的走路动作变得更加夸张或者更加自然。
0条评论