TRAM: Global Trajectory and Motion of 3D Humans from in-the-wild Videos

2024年03月26日
  • 简介
    我们提出了TRAM,一种用于从野外视频中重建人类全局轨迹和运动的两阶段方法。TRAM通过强化SLAM来恢复相机运动,以应对动态人类的存在,并使用场景背景来推导运动比例尺。利用恢复的相机作为度量尺度参考框架,我们引入了视频变换模型(VIMO)来回归人体的运动学运动。通过组合这两个运动,我们实现了对世界空间中3D人类的准确恢复,将全局运动误差从之前的工作中减少了60%。
  • 图表
  • 解决问题
    该论文旨在解决从野外视频中重建人类全局轨迹和运动的问题,尤其是在存在动态人类的情况下。
  • 关键思路
    该论文提出了TRAM方法,通过强化SLAM以恢复相机运动并利用场景背景推导运动尺度,然后使用恢复的相机作为度量尺度参考帧,引入视频转换模型(VIMO)来回归人类的运动。通过组合这两个运动,实现了准确恢复世界空间中3D人类的目标,相比之前的工作将全局运动误差降低了60%。
  • 其它亮点
    该论文的亮点包括TRAM方法的提出、VIMO模型的引入以及实验结果的表现。论文使用了多个数据集进行实验,并且已经开源了代码。该论文的工作值得进一步深入研究。
  • 相关研究
    在这个领域中,还有一些相关的研究,例如:《3D人体姿态估计:从单目图像到多模态数据》、《基于深度学习的人体姿势估计方法综述》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论