Meta-Point Learning and Refining for Category-Agnostic Pose Estimation

该文介绍了一种称为“无类别姿态估计”的技术，旨在通过几张带有关键点注释的支持图像来预测任意类别的关键点。现有的方法仅依赖于支持关键点处提取的特征来预测或优化查询图像上的关键点，但是仅有少量的支持特征向量是局部和不足以进行“无类别姿态估计”。考虑到人类可以快速感知任意物体的潜在关键点，作者提出了一种基于这些潜在关键点（称为“元点”）的“无类别姿态估计”框架。具体而言，作者维护可学习的嵌入以捕获各种关键点的内在信息，这些嵌入与图像特征图相互作用，无需任何支持即可生成元点。所产生的元点可作为“无类别姿态估计”的有意义的潜在关键点。由于内在性和注释之间的不可避免的差距，作者最终利用支持关键点提供的身份和细节来分配和优化元点，使其成为查询图像中所需的关键点。此外，作者提出了一种渐进式可变形点解码器和一种松弛回归损失，以实现更好的预测和监督。该框架不仅揭示了关键点的内在性，而且比现有的“无类别姿态估计”方法表现更好。在大规模的MP-100数据集上进行的全面实验和深入研究证明了该框架的有效性。

本论文旨在解决类别不限的姿态估计问题，通过少量支持图像的关键点注释来预测任意类别的关键点，已有的方法仅依赖于支持关键点提取的特征来预测或细化查询图像上的关键点，但是少量的支持特征向量是局部的且不足以用于类别不限的姿态估计。

本文提出了一种新的类别不限姿态估计框架，基于潜在关键点（称为元点）来预测关键点，这些元点是通过与图像特征图交互而产生的，而不需要任何支持。元点可以作为类别不限姿态估计的有意义的潜在关键点。最后，利用支持关键点提供的身份和细节来分配和细化元点到查询图像中的期望关键点。

本文的亮点包括：1. 提出了一种基于潜在关键点的新型类别不限姿态估计框架；2. 通过维护可学习的嵌入来捕获各种关键点的固有信息，与图像特征图交互来产生元点；3. 提出了渐进变形点解码器和松弛回归损失，以获得更好的预测和监督；4. 在大规模MP-100数据集上进行了全面的实验和深入的研究，证明了该框架的有效性。

近期在这个领域中的相关研究包括：1. MetaPose: Few-Shot Metric Learning for Cross-Domain Pose Estimation；2. Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector；3. Few-Shot Object Recognition with Attention-RPN and Multi-Relation Detector；4. Few-Shot Learning with Localization in Realistic Settings。