Domain adaptive pose estimation via multi-level alignment

2024年04月23日
  • 简介
    域自适应姿态估计旨在使在源域(合成)数据集上训练的深度模型在目标域(真实世界)数据集上产生类似的结果。现有方法通过进行图像级或特征级对齐取得了显著进展。然而,仅在单个级别上对齐是不足以完全弥合域间差距并实现出色的域自适应结果的。在本文中,我们提出了一种多级域自适应方法,该方法在图像、特征和姿态级别上对不同域进行对齐。具体而言,我们首先利用图像风格转换确保源域和目标域的图像具有相似的分布。随后,在特征级别上,我们采用对抗训练,尽可能使源域和目标域的特征保留域不变的特征。最后,在姿态级别上,我们采用自监督方法使模型能够学习多样化的知识,从而隐式地解决域间差距。实验结果表明,提出的多级对齐方法在姿态估计方面取得了显著的改进,对人体姿态估计的最高超过了之前的最新技术水平2.4%,对狗的动物姿态估计的最高超过了3.1%,对羊的动物姿态估计的最高超过了1.4%。
  • 图表
  • 解决问题
    本文旨在解决域自适应姿态估计中的域间差异问题,提出了一种多层次域自适应方法。
  • 关键思路
    该方法包括在图像、特征和姿态层面上对不同域进行对齐,利用图像风格转移、对抗训练和自监督学习等技术实现。
  • 其它亮点
    实验结果表明,该方法在人体姿态和动物姿态估计中取得了显著的改善,超过了之前的最新研究水平。该论文的方法有望在计算机视觉领域得到广泛应用。
  • 相关研究
    在相关研究方面,最近在域自适应领域中,还有一些相关的研究,如“Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training”和“Domain Adaptive Faster R-CNN for Object Detection in the Wild”。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论