Benchmarking Monocular 3D Dog Pose Estimation Using In-The-Wild Motion Capture Data

我们介绍了一个新的基准分析，重点关注从野外单目图像中估计3D犬类姿态。一个多模态数据集3DDogs-Lab在室内拍摄，展示了各种犬类品种在人行道上小跑的情景。它包括光学标记的运动捕捉系统、RGBD相机、IMUs和压力垫的数据。虽然提供了高质量的运动数据，但光学标记的存在和有限的背景多样性使得捕获的视频不太具有代表性。为了解决这个问题，我们创建了3DDogs-Wild，这是数据集的自然化版本，其中光学标记被修补，被拍摄对象被放置在不同的环境中，增强了它对训练基于RGB图像的姿态检测器的实用性。我们展示了使用3DDogs-Wild来训练模型可以提高在野外数据上评估的性能。此外，我们使用各种姿态估计模型进行了彻底的分析，揭示了它们各自的优缺点。我们相信，我们的发现以及提供的数据集为推进3D动物姿态估计提供了有价值的见解。

本文旨在解决从单目野外图像中进行三维犬类姿态估计的问题，并提出了一个新的多模态数据集3DDogs-Lab和3DDogs-Wild，旨在提高模型的泛化性能。

本文的关键思路是使用3DDogs-Wild数据集进行模型训练，从而提高模型在野外数据中的性能。同时，作者通过对不同姿态估计模型的分析，揭示了它们的优缺点。

本文提出了新的多模态数据集3DDogs-Lab和3DDogs-Wild，其中3DDogs-Wild通过去除光学标记和增加背景多样性来提高数据集的泛化性能。作者还进行了全面的姿态估计模型分析，揭示了它们的优缺点。

最近的相关研究包括：《DeepLabCut: markerless pose estimation of user-defined body parts with deep learning》、《Animal pose estimation using deep neural networks》等。