PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions

姿态估计旨在使用单眼图像准确识别人类和动物的解剖关键点，这对于人机交互、具身化人工智能和自动驾驶等各种应用至关重要。虽然当前的模型显示出有希望的结果，但它们通常是在干净的数据上进行训练和测试的，可能忽略了在实际部署中的污染，从而在实际场景中带来安全风险。为了解决这个问题，我们介绍了PoseBench，这是一个全面的基准测试，旨在评估姿态估计模型对真实世界污染的鲁棒性。我们评估了60个代表性模型，包括自上而下、自下而上、基于热图、基于回归和基于分类的方法，涵盖了人和动物姿态估计的三个数据集。我们的评估涉及到四个类别中的10种污染：1）模糊和噪声，2）压缩和颜色损失，3）严重照明，4）遮罩。我们的发现揭示了最先进的模型容易受到常见的真实世界污染的影响，并在解决人类和动物姿态估计任务时表现出不同的行为。为了提高模型的鲁棒性，我们深入研究了各种设计考虑因素，包括输入分辨率、预训练数据集、骨干容量、后处理和数据增强。我们希望我们的基准测试将成为推动鲁棒姿态估计研究的基础。基准测试和源代码将在https://xymsh.github.io/PoseBench发布。

本论文旨在解决姿态估计模型在真实世界应用中容易受到噪声、光照等干扰而失效的问题。

论文提出了一个全面的基准测试工具PoseBench，通过对60种代表性的姿态估计模型进行测试，揭示了当前模型在面对真实世界中的干扰时的不足之处。同时，论文探讨了如何通过改变输入分辨率、使用不同的预训练数据集、调整模型结构等手段来提高模型的鲁棒性。

论文使用了三个数据集对姿态估计模型的鲁棒性进行测试，包括10种不同类型的干扰，如模糊、噪声、压缩、光照等。实验结果表明，当前的姿态估计模型在面对真实世界中的干扰时表现不佳，需要进一步改进。PoseBench基准测试工具将有助于推动姿态估计领域的研究。

近期在姿态估计领域中的相关研究包括：《DeepPose: Human Pose Estimation via Deep Neural Networks》、《OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields》等。