引用次数在15000次以上的都是什么神仙论文？

【导读】本文结合总结梳理了知乎上“引用次数在15000次以上的都是什么论文？”这一问题的经典回答，希望能帮助到各位进一步了解领域内的相关进展。并且通过阅读这些经典论文或许也会给您带来不少启发。

作者：小牧牧

https://www.zhihu.com/question/433702668/answer/1617092684

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

机器学习领域

我来列举一些机器学习(Machine Learning)领域的高被引文章。

机器学习领域泰斗级学者Geoffrey Hinton的文章引用：

引用次数超过15000次文章有6篇。

ImageNet Classification with Deep Convolutional Neural Networks，引用75231次（AlexNet，点燃了深度学习的热潮，因此2012年被认为是深度学习元年，当然要十分感谢ImageNet和GPU的加持）；
Learning internal representations by error-propagation & Learning representations by back-propagating errors，引用50716次（BP算法，殿堂级别的成果，几乎所有关于神经网络的文章都会用到BP算法）；
Deep learning，引用33222次（“三巨头”关于深度学习的综述文章）；
Dropout: a simple way to prevent neural networks from overfitting，引用24452次（Dropout是一种防止深度学习模型过拟合的正则化方法，目前已被Google申请专利，面对封锁，华为诺亚实验室开源了Disout算法，直接对标Google的Dropout）；
Visualizing data using t-SNE，引用16957次（t-SNE是一种流形学习方法，用于数据降维和可视化）。

在机器学习领域还有一个泰斗级的人物Jürgen Schmidhuber，他的一篇文章Long short-term memory目前的引用量是40934次，是深度学习-循环神经网络(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y，Bengio Y和Hinton G在2015年发表在Nature上的文章Deep learning作者中没有Jürgen Schmidhuber，不过Schmidhuber在2015也发表了一篇关于深度学习的综述文章Deep learning in neural networks: An overview，目前的引用量是10917。后来，“三巨头“获得了2018年的“图灵奖”，Schmidhuber和“三巨头“在网络上因为“成果引用”和“成果认定”发生了大量的口水战，这些都是后话了。

机器学习领域还有一些重要的成果，对应的文章也有不俗的引用量。比如：

一直被对比，从未被超越的Adam，目前的引用量是60604次；
使神经网络训练更快、更稳定的Batch normalization，目前的引用量是22986次；
避免深层网络训练时梯度消失或梯度爆炸的激活函数—线性整流函数ReLU（Rectified linear units improve restricted boltzmann machines），目前的引用量是11548次。
Zisserman在2014年发表的关于VGGNet的文章Very deep convolutional networks for large-scale image recognition，目前的引用量是48691次。Google在2015年发表的关于GoogLeNet的文章Going deeper with convolutions，目前的引用量是26353次。何凯明2016年的文章Deep residual learning for image recognition，提出的多达152层ResNet，目前的引用量是63253次。2016年提出的用于目标检测的Faster R-CNN，目前的引用量是24215次。

女神李飞飞构建的ImageNet是计算机视觉(Computer vision)领域非常著名的大型数据集，关于ImageNet的论文ImageNet: A large-scale hierarchical image database发表时间是2009年，目前的引用量是23395次，AlexNet就是在2012年ImageNet大规模视觉识别挑战赛(ILSVRC)上一举成名，自此点燃了深度学习的热潮，可见大规模数据对于深度学习的重要性。

经常被调侃“Money(GPU) Is All You Need”的文章Attention Is All You Need目前的引用量是15410次，这篇文章提出的Transformer是自然语言处理(NLP)领域的重要成果，它的出现迅速取代了LSTM在NLP领域的霸主地位，像BERT、GPT这样的SOTA模型均采用Transformer。NLP领域的另一个重量级成果是word2vec，作者是来自Google的Tomas Mikolov，关于word2vec的两篇文章Distributed representations of words and phrases and their compositionality和Efficient estimation of word representations in vector space目前的引用量分别是24323次和19220次（感谢@ccking的提醒），其实我一直觉得NLP比图像处理问题复杂的多，最让人头疼的莫过于如何将语言数字化，我对此的了解仅限于One-hot encoding，实在是太难了。

谷歌大神Ian Goodfellow的关于GAN的文章Generative adversarial nets目前的引用量是25592次，关于GAN究竟是谁提出来的我就不得而知了，但是Schmidhuber在这个问题上肯定有很多话要说，至于Schmidhuber究竟说了些啥，参见：郑华滨：从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念（文字版）。

Hinton老爷子在2006年提出的深度置信网络(DBN)被普遍认为是深度学习的前夕，关于DBN的两篇文章A fast learning algorithm for deep belief nets和Reducing the dimensionality of data with neural networks的引用量分别是14370次和13659次，DBN是Hinton老爷子最引以为傲的成果，它是一种由多个限制玻尔兹曼机(RBM)堆栈而成的概率生成模型，是最初训练深度网络的一种方法，尽管目前深度学习模型不再需要这种预训练，但它的思想仍然影响着当前的研究工作。