Domain-Adaptive 2D Human Pose Estimation via Dual Teachers in Extremely Low-Light Conditions

现有的2D人体姿势估计研究主要集中在光线充足的场景下，对于日常生活中普遍存在的低光照条件的探索有限。最近的低光姿势估计研究需要使用配对的光线充足和低光图像进行训练，并提供地面实况，但由于低光图像注释的固有挑战，这是不切实际的。为此，我们引入了一种新方法，消除了对低光实况的需求。我们的主要创新在于利用两个互补的教师网络来生成更可靠的伪标签，使我们的模型在不需要使用低光实况训练的情况下，在极低光图像上实现了竞争性能。我们的框架分为两个阶段。在第一阶段，我们的模型在光线充足的数据上进行训练，并进行低光增强。在第二阶段，我们提出了一个双教师框架，利用未标记的低光数据，其中一个以中心为基础的主教师生成相对可见情况的伪标签，而一个以关键点为基础的互补教师则专注于为主教师错过的人物生成伪标签。通过两个教师的伪标签，我们提出了一个人物特定的低光增强，挑战学生模型在训练中超越教师。实验结果表明，我们的方法在真实低光数据集（ExLPose-OCN）上实现了6.8%（2.4 AP）的改进，超过了现有技术的方法，而我们的方法不需要使用低光实况数据，这与现有技术的方法不同。我们的代码将在以下网址上提供：https://github.com/ayh015-dev/DA-LLPose。

本论文旨在解决现有的2D人体姿态估计研究主要集中在光线充足的情况下，对于日常生活中普遍存在的光线不足情况的探索有限的问题。同时，由于在低光照条件下注释的困难，最近的低光照姿态估计研究需要使用成对的光照充足和低光照图像进行训练，这是不切实际的。本文引入了一种新方法，消除了对低光照地面真实性的需求。

本文提出了一种使用两个互补的教师网络生成更可靠伪标签的新方法，使得我们的模型在不需要使用低光照地面真实性的情况下，在极低光照图像上实现了具有竞争力的性能。该框架由两个阶段组成：第一阶段，模型在光照充足的数据上进行训练，并进行低光照增强；第二阶段，我们提出了一个双教师框架来利用未标记的低光照数据，其中一个以中心为基础的主教师为相对可见的情况生成伪标签，而基于关键点的互补教师则专注于为主教师未检测到的人物生成伪标签。通过两个教师的伪标签，我们提出了一个人物特定的低光照增强，挑战学生模型在训练中超越教师。

本文的亮点在于使用两个互补的教师网络生成更可靠的伪标签，从而实现了在极低光照图像上具有竞争力的性能。实验使用了真实的低光照数据集（ExLPose-OCN），并在没有使用低光照地面真实性的情况下，相比于现有技术，提高了6.8％（2.4 AP）。此外，本文提供了开源代码。

近期在这个领域中，还有一些相关的研究，例如“Towards Accurate Multi-person Pose Estimation in the Wild”和“Deep High-Resolution Representation Learning for Human Pose Estimation”等。