Multiview Equivariance Improves 3D Correspondence Understanding with Minimal Feature Finetuning

视觉基础模型，特别是ViT系列，通过提供丰富的语义特征，彻底改变了图像理解。然而，尽管它们在二维理解方面取得了成功，但它们在掌握三维空间关系方面的能力仍不明确。在这项工作中，我们评估并增强了基于ViT的模型的三维意识。我们首先系统地评估了这些模型学习三维等变特征的能力，特别考察了不同视角下语义嵌入的一致性。我们的研究发现，改进的三维等变性可以提高各种下游任务的表现，包括姿态估计、跟踪和语义迁移。基于这一见解，我们提出了一种简单而有效的基于三维对应关系的微调策略，该策略显著提升了现有视觉模型对三维对应关系的理解。值得注意的是，即使只在一个物体上进行一次迭代的微调，也能带来显著的性能提升。所有代码和资源都将公开发布，以支持三维感知视觉模型的进一步发展。我们的代码可在以下地址获取：https://github.com/qq456cvb/3DCorrEnhance。

该论文旨在评估和增强基于ViT模型的3D空间理解能力，特别是其在不同视角下学习3D等变特征的一致性。这是对现有2D图像理解模型的一个重要扩展，因为目前这些模型在3D空间关系的理解上仍存在不足。

论文的关键思路是通过系统地评估ViT模型在不同视角下的3D等变特征学习能力，并提出了一种基于3D对应关系的微调策略来增强模型的3D理解能力。这种方法不仅简单有效，而且即使在一个对象上进行一次迭代的微调也能显著提升性能。

1. 系统评估了ViT模型在不同视角下的3D等变特征学习能力。 2. 提出了一种基于3D对应关系的微调策略，显著提升了模型的3D理解能力。 3. 实验表明，即使在一个对象上进行一次迭代的微调也能取得显著的性能提升。 4. 所有代码和资源将公开发布，支持进一步的研究和发展。 5. 使用了多种下游任务（如姿态估计、跟踪和语义迁移）来验证方法的有效性。

1. "Learning 3D Correspondence from 2D Image Collections" - 这篇论文探讨了从2D图像集合中学习3D对应关系的方法。 2. "3D-CODED: 3D Correspondences by Deep Deformation" - 该研究提出了通过深度变形学习3D对应关系的方法。 3. "DeepV2D: Video to Depth with Differentiable Structure-from-Motion" - 这篇论文介绍了从视频中提取深度信息的方法，涉及3D结构重建。 4. "NeRF: Neural Radiance Fields for View Synthesis" - NeRF通过神经辐射场实现视图合成，展示了强大的3D理解能力。