来自 Unity Technologies 的研究者在一项工作中为高级 AI 辅助动画工具开发了可学习的人体姿态神经表征。具体来说，该研究解决了基于稀疏和可变用户输入（例如身体关节子集的位置和 / 或方向）构建完整静态人体姿态的问题。为了解决这个问题，该研究提出了一种名为 ProtoRes 的新型神经架构，将残差连接（residual connection）与部分特定姿态的原型编码相结合，从学得的潜在空间中创建一个新的完整姿态。该研究表明所提的架构在准确性和计算效率方面都优于 Transformer 基线。此外，该研究还开发了一个用户接口，将该研究所提的神经模型集成到实时 3D 开发平台 Unity 中。该研究基于高质量的人体动作捕捉数据提出了两个表征静态人体姿态建模问题的新数据集 miniMixamo 和 miniUnity，后续数据集将和模型代码一起公开发布。

论文地址：

https://arxiv.org/abs/2106.01981

该研究提出的 ProtoRes 架构如下图所示，遵循编码器 - 解码器模式，并分三个步骤生成预测。首先，用户提供数量和类型可变的输入，这些输入被处理以实现平移不变性（translation invariance）和嵌入。其次，该架构的核心是 proto-residual 编码器，将通过效应器指定的姿态转换成单个向量（姿态嵌入）。最后，姿态解码器将姿态嵌入扩展到全身姿态表征，包括每个关节的局部旋转和全局位置。

内容中包含的图片若涉及版权问题，请及时与我们联系删除