非常有意思的一篇论文！是否可以使用未经任何自然图像预训练的卷积神经网络来帮助自然图像理解？代码已开源！

Pre-training without Natural Images 作者单位：AIST(日本), 东京工业大学, 东京电机大学

代码：hirokatsukataoka16/FractalDB-Pretrained-ResNet-PyTorch 论文（获得ACCV 2020最佳论文提名奖）：https://arxiv.org/abs/2101.08515

本文提出了一个新概念，即Formula-driven Supervised Learning。 我们通过分配fractals来自动生成图像模式及其类别标签，这些fractals基于现实世界背景知识中存在的自然规律。 从理论上讲，在预训练阶段使用自动生成的图像而不是自然图像，可以使我们生成标记图像的无限比例数据集。尽管使用提出的Fractal数据库（FractalDB）（没有自然图像的数据库）进行预训练的模型不一定在所有setting下都优于通过人工注释数据集进行预训练的模型，但我们能够部分超越ImageNet / Places的准确性 训练的模型。

所提出的FractalDB的图像表示在卷积层和注意力的可视化中捕获了独特的特征。

内容中包含的图片若涉及版权问题，请及时与我们联系删除