Enhancing 2D Representation Learning with a 3D Prior

学习视觉数据的稳健和有效表示是计算机视觉中的基本任务。传统上，通过使用昂贵的标记数据训练模型来实现这一点。自我监督学习试图通过仅从原始未标记的视觉数据中学习表示来规避标记数据的要求。然而，与通过双眼视觉和运动获得丰富的三维信息的人类不同，大多数当前的自我监督方法的任务是从单眼二维图像集中学习。这值得注意，因为已经证明，以形状为中心的视觉处理与以纹理为偏向的自动化方法相比更为稳健。受此启发，我们提出了一种新的方法，通过在训练期间直接将强大的三维结构先验明确地强加到模型中，来加强现有的自我监督方法。通过实验，在一系列数据集上，我们证明了我们的三维感知表示与传统的自我监督基线相比更为稳健。

论文旨在通过将强3D结构先验直接纳入模型训练中，加强现有的自监督学习方法，以提高其对视觉数据的鲁棒性和有效性。

论文的关键思路是将强3D结构先验直接纳入模型训练中，以加强自监督学习方法，并提高其对视觉数据的鲁棒性和有效性。

论文通过实验表明，相比于传统的自监督学习方法，该方法得到的三维感知能力更强，对视觉数据的鲁棒性更高。实验使用了多个数据集，论文还开源了代码。

最近在这个领域中，还有一些相关研究，如：Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles；Unsupervised Learning of Depth and Ego-Motion from Video；Unsupervised Monocular Depth Estimation with Left-Right Consistency。