Intelligence at the Edge of Chaos

我们通过研究规则复杂性对训练模型预测这些规则能力的影响，探讨了智能行为在人工系统中的出现。我们的研究集中于元胞自动机（ECA），这是一种简单而强大的一维系统，能够生成从简单到极其复杂的各种行为。通过在不同的ECA上训练不同的大型语言模型（LLM），我们评估了规则行为的复杂性与LLM所表现出的智能之间的关系，这体现在它们在下游任务中的表现上。我们的研究发现表明，复杂性更高的规则会导致模型表现出更高的智能，这在推理和国际象棋走法预测任务中的表现尤为明显。无论是均匀系统、周期性系统，还是通常的高混沌系统，都导致了较差的下游任务表现，突显了有利于智能产生的复杂性的最佳范围。我们推测，智能源于预测复杂性的能力，并且创造智能可能只需要暴露于复杂性之中。

论文试图探索复杂性与智能行为之间的关系，具体而言，通过训练大型语言模型（LLMs）来预测不同复杂度的元胞自动机（ECA）规则，验证复杂性是否能促进智能行为的出现。这是一个相对较新的问题，尤其是在使用ECA作为复杂性来源的研究中。

关键思路在于利用元胞自动机的简单规则生成复杂行为，并通过训练LLMs来预测这些规则，从而评估复杂性对智能的影响。相比现有研究，该论文提出了一个新颖的观点：智能可能源于对复杂性的预测能力，而非仅仅依赖于大量数据或计算资源。

论文的亮点包括：1) 发现了复杂性与智能表现之间的正相关关系；2) 实验设计涵盖了不同类型的ECA系统（如均匀、周期性和混沌系统），并对比了它们对下游任务的影响；3) 使用了推理和国际象棋走法预测等任务来评估模型的智能水平；4) 提出了一个“复杂性甜蜜点”的概念，即并非所有复杂性都能促进智能，而是存在一个最优复杂度范围。此外，虽然论文未提及代码开源，但其实验设计为未来研究提供了宝贵的参考。

最近在这个领域，一些相关的研究包括：1)《Emergence of Complex Behaviors in Neural Networks through Rule-Based Systems》探讨了神经网络在规则系统中的行为；2)《Complexity and Intelligence: A Survey》综述了复杂性与智能之间的关系；3)《Training Language Models on Cellular Automata for Enhanced Reasoning》研究了类似主题，但专注于增强推理能力。