Mission: Impossible Language Models

乔姆斯基和其他人直接声称，大型语言模型(LLMs)能够同样学习人类能够学习和不可能学习的语言。然而，很少有发表的实验证据支持这种说法。在这里，我们开发了一组合成的不可能语言，其复杂性不同，每种语言都是通过系统地改变英语数据的单词顺序和语法规则来设计的。这些语言位于一个不可能性连续体上：一端是本质上不可能的语言，例如英语单词的随机和不可逆洗牌，另一端是在语言学中通常被认为是不可能的语言，尤其是那些基于单词位置计数的规则。我们报告了广泛的评估，以评估GPT-2小型模型学习这些无争议的不可能语言的能力，并且至关重要的是，我们在训练的各个阶段执行这些评估，以比较每种语言的学习过程。我们的核心发现是，与英语控制组相比，GPT-2在学习不可能语言方面存在困难，这挑战了核心主张。更重要的是，我们希望我们的方法开辟了一条有益的研究路线，即在不同的LLM体系结构上测试各种不可能的语言，以了解LLMs如何作为这些认知和类型学研究的工具。

论文旨在验证大型语言模型（LLMs）是否能够学习人类无法学习的语言，以及这些模型的学习能力是否与人类相同。

通过开发一组人工合成的不可能语言，系统地改变英语数据的单词顺序和语法规则，对GPT-2小型模型进行评估，发现相对于英语控制组，GPT-2在学习不可能语言时表现较差，挑战了LLMs能够与人类相同的核心主张。

实验设计了一组人工合成的不可能语言，通过对GPT-2小型模型的评估，挑战了LLMs能够与人类相同的核心主张。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》、《The Emergence of Number and Syntax Units in LSTM Language Models》等。