来自今天的爱可可AI前沿推介

[CV] Does progress on ImageNet transfer to real-world datasets?

A Fang, S Kornblith, L Schmidt
[University of Washington & Google Brain]

ImageNet上的进展能否迁移到现实世界数据集?

要点:

  1. 通过在六个实际图像分类数据集上评估具有不同ImageNet准确度的预训练模型，研究了在ImageNet数据集上取得的进展是否能迁移到真实世界数据集；
  2. 研究重点关注了为解决真实世界任务而收集的数据集，而不是为比较模型而收集的网络爬取基准数据集；
  3. 结果表明，ImageNet准确度较高的模型在实际数据集上的表现并不总是更好，并且诸如数据增强之类的干预措施即使在模型不改变的情况下也能提高性能；
  4. 需要更多样化的基准来评估机器学习模型在真实世界任务中的表现。

一句话总结:
在 ImageNet 数据集上训练的模型的性能，不一定能迁移到真实世界数据集上，需要更多样化的基准来评估机器学习模型在真实世界任务中的表现。

摘要：
ImageNet 上的进展能否迁移到现实世界数据集？本文通过在六个实际的图像分类数据集上以不同的精度(57%-83%)评估ImageNet预训练模型来研究该问题。特别是，研究为解决现实世界任务而收集的数据集(例如，从自动拍照相机或卫星遥感图像的分类)，而不是为比较模型而收集的网络抓取基准。在多个数据集上，ImageNet精度较高的模型不会持续产生性能改进。对于某些任务，即使架构没有提高、数据增强等干预措施也会提高性能。希望未来的基准将包括更多样化的数据集，以鼓励采取更全面的方法来改进学习算法。

Does progress on ImageNet transfer to real-world datasets? We investigate this question by evaluating ImageNet pre-trained models with varying accuracy (57% - 83%) on six practical image classification datasets. In particular, we study datasets collected with the goal of solving real-world tasks (e.g., classifying images from camera traps or satellites), as opposed to web-scraped benchmarks collected for comparing models. On multiple datasets, models with higher ImageNet accuracy do not consistently yield performance improvements. For certain tasks, interventions such as data augmentation improve performance even when architectures do not. We hope that future benchmarks will include more diverse datasets to encourage a more comprehensive approach to improving learning algorithms.

论文链接：https://arxiv.org/abs/2301.04644
图片
图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除