What We Talk About When We Talk About LMs: Implicit Paradigm Shifts and the Ship of Language Models

本文中，语言模型（LMs）作为一种特定时间的模型集合，不断被重新发明，其指涉对象也随之更新，就像忒修斯之船更换部件但本质上仍是同一艘船一样。本文探讨了“语言模型之船”的问题，即科学演进采用的是对现有术语进行连续、隐式的改进。我们试图启动一种新的科学进展视角，除了更为深入研究新术语的出现之外。为此，我们构建了基于最近自然语言处理出版物的数据基础设施。然后，我们进行一系列基于文本的分析，以详细、量化的方式理解“语言模型”作为一种艺术术语的使用情况。我们的工作突显了系统和理论如何在科学交流中相互影响，并呼吁关注我们所有人正在为之做出贡献的这艘船的转变。

本论文试图探讨自然语言处理领域中的语言模型（LMs）一词的演变，以及如何应对这个问题。

论文通过构建数据基础设施，对最近的NLP出版物进行基于文本的分析，以深入量化理解LMs作为一种技术术语的使用情况，并呼吁关注我们所有人正在共同推动的这艘船的转型。

论文通过文本分析展示了科学理论和系统如何相互影响，实验设计合理，使用了多个数据集，并提供了开源代码。

最近的相关研究包括《The State and Fate of Linguistic Diversity and Inclusion in the NLP World》、《Language Models are Few-Shot Learners》等。