最近在arxiv看到了一篇有意思的文章，标题是torch.manual seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision。不得不吐槽一下，最近很多论文标题都是"XX is all you need"，似乎只要标题足够吸引眼球就能提高被录用的几率。但显然，这一trick是有效地，因为这篇文章的作者成功把我吸引到了- -!

据作者介绍，在这篇文章里，他尝试探究不同的随机种子对CV领域模型效果的影响。在CIFAR 10数据集尝试了将近一万个随机种子，包括在大型数据集ImageNet数据集上的一些随机种子后，最后得出如下结论：尽管不同随机种子之间的效果标准差很小，但是仍然能够发现一些“异常点”，也就是使得模型表现相较于平均值特别好或者特别差的随机种子。

具体而言，作者是抱着如下三个问题去进行实验的：

  1. 随机种子的不同导致的模型效果分布是怎样的？
  2. 是否存在黑天鹅事件，也就是存在效果明显不同的随机种子？
  3. 在更大的数据集上进行预训练是否能减少由选择种子引起的差异性?

论文链接：https://arxiv.org/abs/2109.08203

内容中包含的图片若涉及版权问题，请及时与我们联系删除