From Protoscience to Epistemic Monoculture: How Benchmarking Set the Stage for the Deep Learning Revolution

在过去的十年中，AI研究一直专注于构建越来越大的深度学习模型。这种方法同时在科学技术方面取得了惊人的成就，又阻碍了AI克服关于可解释性、伦理危害和环境效率方面长期存在的限制。通过定性访谈和计算分析，我们对AI研究的三部分历史进行了追踪，将这种“认识单一文化”的创造追溯到20世纪80年代末开始的科学进步的根本性重新构想。在AI研究的第一个时代（1950年代至1980年代末），研究人员和赞助人将AI视为一种“基础”科学，通过自主探索和有机评估进展（如同行评议、理论共识）来推进。这种方法的失败导致了1980年代的资金紧缩。在这个“AI寒冬”期间，美国政府的一次干预将该领域重新定位为在军事和商业利益方面有量化进展的领域。一个名为“基准测试”的新评估系统提供了一种客观的方法来量化任务上的进展，通过专注于增加示例数据集上的预测准确性。将科学浓缩到可验证的指标中澄清了科学家的角色，使该领域能够快速整合人才，并提供了明确的重要性和进展信号。但历史也揭示了这种简化的科学方法的权衡：围绕外部利益和基准测试的固有保守性的巩固已经削弱了超越规模单一文化的探索的动力。在讨论中，我们解释了AI的单一文化对于认为基础的、探索驱动的研究对于科学进展的必要性提出了令人信服的挑战。还讨论了在生成AI时代，AI单一文化对其他科学传播的影响。

AI research has been focused heavily on building larger deep learning models, hindering progress in explainability, ethical concerns, and environmental efficiency. The paper traces this monoculture back to a reconceptualization of scientific progress in the late 1980s.

The paper argues that the benchmarking evaluation system, which focuses exclusively on increasing predictive accuracy on example datasets, has led to a consolidation around external interests and disincentivized exploration beyond scaling monoculture. The paper suggests that basic, exploration-driven research is needed for scientific progress.

The paper provides a three-part history of AI research, drawing on qualitative interviews and computational analyses. It also discusses the implications of AI's monoculture for other sciences in the era of generative AI.

Recent related work includes 'The Ethical Implications of AI's Monoculture' by Solon Barocas and 'The Relevance of AI Research to Society' by Timnit Gebru.