Simplifying DINO via Coding Rate Regularization

DINO 和 DINOv2 是两个被广泛用于从大规模未标注图像数据中学习表示的模型家族。它们所学到的表示通常能够在下游任务（如图像分类和分割）中实现最先进的性能。然而，这些模型采用了大量基于经验的设计选择，其训练管道非常复杂且不稳定——许多超参数需要精心调整以确保表示不会崩溃——这给改进这些模型或将它们适应新领域带来了相当大的困难。在这项工作中，我们认为可以在预训练管道中去除大部分基于经验的独特设计，并仅在损失函数中添加一个显式的编码率项以避免表示的崩溃。因此，我们获得了高度简化的 DINO 和 DINOv2 变体，分别称为 SimDINO 和 SimDINOv2。令人惊讶的是，这些简化后的模型对不同的设计选择（如网络架构和超参数）更加鲁棒，并且它们学习到了质量更高的表示，这一点通过下游任务的性能得到了验证，相较于对应的 DINO 和 DINOv2 模型提供了帕累托改进。这项工作突显了使用简化设计原则来改进深度学习实践经验的潜力。

该论文试图解决DINO和DINOv2模型在预训练过程中存在的复杂性和不稳定性问题，这些问题导致了对超参数的严格依赖以及对不同设计选择的敏感性。这并不是一个全新的问题，但论文提出了一种简化的方法来应对这些挑战。

论文的关键思路是通过在损失函数中引入显式的编码率项来避免表示崩溃，从而大幅简化DINO和DINOv2的预训练管道。这种简化不仅减少了对复杂设计选择和超参数调优的需求，还提高了模型的鲁棒性和表示质量。相比现有的研究，这种方法提供了一个更为简洁且高效的替代方案。

论文的亮点包括：1) 提出了SimDINO和SimDINOv2这两个简化版模型；2) 实验结果显示这些简化模型对网络架构和超参数更加鲁棒，并且在下游任务上的表现优于原始模型；3) 研究提供了改进深度学习实践的简化设计原则；4) 论文可能包含了实验设计、使用数据集以及开源代码等详细信息，鼓励进一步的研究。

最近在这个领域内的相关研究还包括：1)《Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning》；2)《Masked Autoencoders Are Scalable Vision Learners》；3)《Emerging Properties in Self-Supervised Vision Transformers》。这些研究都致力于探索自监督学习的新方法和提高视觉表征的质量。