Back to 3D: Few-Shot 3D Keypoint Detection with Back-Projected 2D Features

随着数据集大小和计算资源在近年来的巨大增长，所谓的基础模型已经在自然语言处理和视觉任务中变得流行起来。在这项工作中，我们提出探索基础模型用于在3D形状上进行关键点检测的任务。关键点检测的一个独特特征是，它需要语义和几何意识，同时要求高定位精度。为了解决这个问题，我们首先提出将来自大型预训练2D视觉模型的特征反投影到3D形状上，并将其用于此任务。我们展示了我们获得的强健的3D特征包含丰富的语义信息，并分析了来自不同2D基础模型的多个候选特征。其次，我们采用关键点候选优化模块，旨在匹配形状上关键点的平均观察分布，并由反投影特征引导。由此得出的方法在KeyPointNet数据集上实现了新的最先进的有限样本关键点检测，几乎将先前最佳方法的性能翻倍。

论文旨在探索基础模型在三维形状关键点检测中的应用。这个任务需要同时具备语义和几何意识，并要求高定位精度。此前尚未有研究探讨基础模型在这一任务上的应用。

论文提出了两个方案来解决三维形状关键点检测的问题。首先，将大型预训练的二维视觉模型的特征反投影到三维形状上，并将它们用于关键点检测。这样可以获得包含丰富语义信息的稳健三维特征。其次，使用关键点候选优化模块，旨在匹配形状上观察到的关键点的平均分布，并由反投影特征指导。

论文在KeyPointNet数据集上进行了实验，并取得了新的最佳结果，几乎将之前最佳方法的性能提高了一倍。实验结果表明，论文提出的方法可以在不同的二维基础模型中获得多个候选特征，并且这些特征可以帮助提高三维关键点检测的性能。

最近的相关研究包括：《3D KeypointNet: Deep Learning of Local Surface Shape》、《3D Object Proposals using Stereo Imagery for Accurate Object Class Detection》、《3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions》等。