AnyTop: Character Animation Diffusion with Any Topology

2025年02月24日
  • 简介
    为任意骨架生成运动是计算机图形学中长期存在的挑战,由于缺乏多样化的数据集和数据的不规则性,这一领域在很大程度上尚未得到充分探索。在这项工作中,我们引入了AnyTop,这是一种扩散模型,仅使用骨架结构作为输入,就能为具有不同运动动态的多样化角色生成运动。我们的工作特色在于基于Transformer的去噪网络,该网络专为任意骨架学习设计,将拓扑信息整合到传统的注意力机制中。此外,通过将文本关节描述纳入潜在特征表示中,AnyTop能够学习跨不同骨架的关节之间的语义对应关系。我们的评估表明,即使每种拓扑结构只有三个训练样本,AnyTop也能很好地泛化,并能为未见过的骨架生成运动。此外,我们的模型的潜在空间非常有信息量,能够支持诸如关节对应、时间分割和运动编辑等下游任务。我们的网页(https://anytop2025.github.io/Anytop-page)包含视频和代码的链接。
  • 图表
  • 解决问题
    该论文旨在解决为任意骨架生成运动这一长期存在的计算机图形学挑战。由于缺乏多样化的数据集以及数据的不规则性,这一领域一直未被充分探索。这是一个相对新颖的问题,特别是在处理具有不同运动动态的多样化角色方面。
  • 关键思路
    关键思路是引入AnyTop,一种基于扩散模型的方法,仅使用骨架结构作为输入来生成运动。相比现有研究,AnyTop通过结合拓扑信息和文本关节描述,利用变换器(Transformer)改进了传统的注意力机制,从而更好地处理任意骨架的学习,并在少量训练样本的情况下实现了良好的泛化能力。
  • 其它亮点
    亮点包括:1) AnyTop可以处理从未见过的骨架结构;2) 模型的潜在空间非常有信息量,支持诸如关节对应、时间分割和运动编辑等下游任务;3) 论文提供了网页链接,包含视频和开源代码,便于复现和进一步研究;4) 实验展示了模型在极少量训练样本(每种拓扑类型仅需三个样本)下仍能有效工作。
  • 相关研究
    近期相关研究包括《Learning to Generate Motion for Arbitrary Skeletons》、《Motion Diffusion Models》和《Human Motion Prediction via Learning Semantic Correspondences》等。这些研究都致力于提高运动生成的多样性和适应性,但AnyTop通过其独特的变换器架构和对拓扑信息的整合,在处理任意骨架方面表现出色。
许愿开讲
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论