DINOv3

自监督学习有望消除人工数据标注的需求，使模型能够轻松扩展到海量数据集和更大的架构。由于不针对特定任务或领域，这种训练范式具备从多种来源（从自然图像到航拍图像）学习视觉表示的潜力，且仅需使用一种算法。本技术报告介绍了 DINOv3，这是实现这一愿景的重要里程碑，它借助了简单而有效的策略。首先，我们通过精心的数据准备、设计与优化，充分利用了扩大数据集和模型规模带来的优势。其次，我们提出了一种名为“Gram 锚定”的新方法，有效解决了密集特征图在长时间训练过程中质量下降这一长期存在却未被解决的问题。最后，我们应用了事后策略，进一步增强了模型在分辨率、模型大小和与文本对齐方面的灵活性。最终，我们推出的这一通用视觉基础模型在广泛的设置下均优于当前最先进的专用模型，而且无需进行微调。DINOv3 能生成高质量的密集特征，在各种视觉任务中表现出色，显著超越了以往的自监督和弱监督基础模型。我们也公开了 DINOv3 系列视觉模型，旨在通过为不同的资源限制和部署场景提供可扩展的解决方案，推动各类任务和数据上的技术前沿不断进步。

论文旨在解决视觉表示学习中对大量手动标注数据的依赖问题，尝试通过自监督学习方法来训练模型，使其能够在多种视觉任务和数据源中表现出色，而无需进行微调。该问题仍然是人工智能领域的重要挑战，尤其是在模型可扩展性和泛化能力方面。

论文提出DINOv3，一种基于自监督学习的视觉基础模型，通过三个核心策略实现突破：1）通过数据准备、设计和优化来扩展数据集和模型规模；2）引入Gram Anchoring方法，解决密集特征图在长时间训练中退化的问题；3）采用后处理策略，增强模型在分辨率、模型大小和文本对齐方面的灵活性。这些思路相比现有方法更加系统化，并有效提升了模型的通用性和性能。

1. DINOv3在多个视觉任务中显著优于之前的自监督和弱监督基础模型。 2. 模型生成高质量的密集特征，在无需微调的情况下即可适用于多种任务。 3. 论文开源模型套件，支持不同资源约束和部署场景的可扩展解决方案。 4. 实验设计覆盖广泛的任务和数据集，验证了模型的泛化能力。 5. Gram Anchoring是一个值得深入研究的新方法，可能对其他自监督框架也有启发。

1. DINO: Emerging Properties in Self-Supervised Vision Transformers 2. MoCo v3: Improving Self-Supervised Vision Transformer Training 3. BEiT: BERT Pre-Training of Image Transformers 4. Masked Autoencoders Are Scalable Vision Learners 5. SimCLR: A Simple Framework for Contrastive Learning of Visual Representations