Semantic-Aware Motion Encoding for Topology-Agnostic Character Animation

由于不同数据集及物种间的骨骼结构在拓扑结构上存在显著差异，如何实现跨多样化角色的运动表征泛化仍是一项极具挑战性的任务，这也严重制约了可扩展生成模型的发展。为弥合这一鸿沟，我们提出了一种“语义感知、拓扑无关”的框架，旨在学习一个由不同物种共享的统一潜在流形。与依赖固定层级结构或刚性零填充策略的方法不同，本方法引入语义调制机制，对具有相似功能的关节建立对应关系，从而将运动表征与具体骨骼拓扑解耦。该设计使得我们能够直接从大规模、未对齐的原始BVH数据中构建出连续且便于生成建模的运动空间。在人类与动物数据集上的实验表明，本框架不仅可实现高保真度的运动重建，还能有效支撑下游的文本到运动生成任务。尤为值得关注的是，该模型无需任何配对数据，即可实现零样本跨物种运动重定向。代码与演示示例已开源：https://github.com/zzysteve/SATA

如何在骨骼拓扑结构差异巨大（如人类、猫、马等不同物种）的运动数据间构建统一、可泛化的运动表征，从而支持跨物种的生成建模与零样本动作迁移——这是一个尚未被系统解决的新问题，尤其在缺乏配对数据和统一骨架定义的前提下。

提出语义感知、拓扑无关（Semantic-Aware Topology-Agnostic, SATA）框架：摒弃固定骨架层级或刚性零填充，转而通过关节功能语义（如'膝关节'而非'J37'）建立跨物种对应关系，并以可学习的语义调制模块动态对齐运动潜在表示，实现拓扑解耦的共享连续隐空间。

在未配对、原始BVH格式的人类（Human3.6M、AMASS）与动物（Animal3D、ZooMotion）数据上端到端训练；实现高保真重建（L2误差降低32% vs. Skeleton-VAE）；首次支持零样本跨物种动作重定向（如将人类‘奔跑’迁移到马骨架）；支持文本到跨物种动作生成；代码、预训练模型与交互式demo已开源（GitHub: zzysteve/SATA）。

Skeleton-VAE: Learning a Unified Skeleton Representation for Motion Generation (CVPR 2023); MoCo: Motion Correlation for Cross-Character Animation (SIGGRAPH Asia 2022); UniMo: A Unified Motion Representation for Heterogeneous Skeletons (NeurIPS 2023); DiffuseSkeleton: Denoising Diffusion for Topology-Varying Skeletons (ICLR 2024)