Meta AI｜DINOv2： 在没有监督的情况下学习鲁棒的视觉特征

DINOv2: Learning Robust Visual Features without Supervision

Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, Mahmoud Assran, Nicolas Ballas, Wojciech Galuba, Russell Howes, Po-Yao Huang, Shang-Wen Li, Ishan Misra, Michael Rabbat, Vasu Sharma, Gabriel Synnaeve, Hu Xu, Hervé Jegou, Julien Mairal, Patrick Labatut, Armand Joulin, Piotr Bojanowski

自然语言处理的最新突破为计算机视觉中的基础模型铺平了道路，通过自监督方法和大型多样化数据集产生通用的视觉特征。通过利用一个自动化的筛选数据的管道，并训练一个10亿参数的ViT模型，研究人员创造了比现有通用特征更小的模型，在大多数基准测试中的图像和像素级别上都超过了现有的通用特征。

[Meta AI Research]

DINOv2： 在没有监督的情况下学习鲁棒的视觉特征

要点:

• 动机：在计算机视觉领域提出一种新的自监督学习方法，使得生成通用视觉特征成为可能。这种方法可以极大地简化图像在各种系统中的使用，而无需针对每个任务进行微调。
• 方法：提出一种自监督学习方法，使用精心筛选的大量图像数据进行预训练，并利用自动流程构建数据集以提高稳定性和加速训练。使用ViT模型进行训练，并将其蒸馏为一系列较小的模型，这些模型在各种基准测试中表现出色。
• 优势：所提出的方法具有很多优势，其中最重要的是生成通用视觉特征，无需微调即可在各种图像分布和任务中使用。此外，所提出的自动流程可以提高稳定性和加速训练，使得该方法比其他自监督学习方法快两倍，需要的内存也少三倍。

一句话总结:
提出一种自监督学习方法DINOv2，可在不需要微调的情况下，生成适用于各种图像分布和任务的通用视觉特征,使用精心筛选的大量图像数据进行预训练，并利用自动流程构建数据集以提高稳定性并加速训练。

https://arxiv.org/abs/2304.07193