The wall confronting large language models

我们指出，决定大语言模型（LLMs）性能的缩放定律严重限制了它们改善预测不确定性的能力。因此，要提高其可靠性，使其达到科学探究的标准，在任何合理的衡量标准下都是难以实现的。我们认为，LLMs学习能力的核心机制——即从高斯输入分布生成非高斯输出分布的能力——很可能正是导致它们容易产生错误累积、信息灾难和退化性人工智能行为的根源。这种学习能力与准确性的矛盾，很可能是导致观察到的缩放系数较低的一个潜在机制。此外，Calude 和 Longo 提出的数据集中伪相关性的泛滥进一步加剧了这一问题，这些伪相关性会随着数据集规模的增加而迅速增多，与其具体内容无关。尽管退化性人工智能路径很可能是大语言模型发展路径中的一个常见特征，但这并不意味着它必然会在未来所有人工智能研究中不可避免地出现。本文也探讨了如何避免这一路径的问题，这需要我们在研究过程中对所调查问题的结构性特征给予更高的重视，并投入更多洞察与理解。

该论文试图解决大语言模型（LLMs）在提升预测可靠性方面面临的根本性挑战，即尽管模型规模不断扩大，其预测的不确定性并未显著降低。这涉及验证一个假设：LLMs的学习机制本身可能限制了其在准确性上的提升，从而使其难以达到科学推理所需的严谨标准。

论文的关键思路在于指出LLMs的学习能力与预测准确性之间存在一种根本性的张力：模型通过将高斯输入分布转化为非高斯输出分布的能力，虽然增强了其表达力和学习能力，但也可能导致误差累积（error pileup）、信息灾难和退化性AI行为。这一机制可能是导致模型扩展性（scaling components）表现不佳的根本原因。

1. 提出LLMs的非高斯输出特性可能是其误差累积和退化行为的根源。 2. 强调Calude和Longo指出的虚假相关性随数据集增大而增加的问题，进一步加剧了模型的不可靠性。 3. 论文未提供具体实验或数据集分析，更多是理论层面的探讨。 4. 建议未来AI研究应更加注重对问题结构的理解，以避免退化性AI路径。

1. Scaling Laws for Neural Language Models (Kaplan et al., 2020) 2. On the Measure of Intelligence (François Chollet, 2019) 3. Language Models are Few-Shot Learners (GPT-3 paper, Brown et al., 2020) 4. The Bitter Lesson - Rich Sutton (2019) 5. Deep learning scaling is predictable, empirically (Hestness et al., 2017)