AlphaGo Moment for Model Architecture Discovery

尽管人工智能系统的能力呈现指数级提升，但人工智能研究本身的进展仍受限于人类的认知能力，这导致发展瓶颈日益严重。我们提出了 ASI-Arch，这是在神经架构发现这一关键领域中，首次实现用于人工智能研究的人工超智（ASI4AI）的系统。该系统完全自主运行，打破了这一根本性的限制，使人工智能能够自行进行架构创新。 我们不仅超越了传统神经架构搜索（NAS）的范畴，还实现了从自动化优化到自动化创新的范式转变。传统 NAS 根本上受限于人类定义的搜索空间，而 ASI-Arch 则能够在架构发现领域开展端到端的科学研究，自主提出新的架构概念，将其编写为可执行代码，并通过严格的实验和过往经验对这些架构进行训练和实证验证。 ASI-Arch 在超过 20,000 GPU 小时的时间内完成了 1,773 次自主实验，最终发现了 106 种创新的、最先进的（SOTA）线性注意力架构。就像 AlphaGo 的“第 37 手棋”揭示了人类玩家无法察觉的战略洞见一样，我们通过人工智能发现的架构展现出新兴的设计原则，系统性地超越了人类设计的基准，并揭示了此前未知的架构创新路径。 尤为重要的是，我们首次为科学发现本身建立了实证的扩展规律——证明架构上的突破可以通过计算能力进行扩展，从而将研究进展从受人类限制的过程转变为可随计算能力扩展的过程。我们对促成这些突破的新兴设计模式和自主研究能力进行了全面分析，为构建自我加速的人工智能系统提供了蓝图。

论文试图解决AI研究进展受限于人类认知能力导致的发展瓶颈问题，特别是在神经架构发现领域。当前AI研究的进展受限于人类设计架构和研究方向的能力，这使得AI研究难以突破人类思维的限制，实现指数级发展。

论文提出了一种名为ASI-Arch的系统，实现了人工超智能（Artificial Superintelligence, ASI）在AI研究中的首次应用，即AI用于AI架构的自主创新。与传统NAS方法不同，该系统不再局限于人类定义的搜索空间，而是通过端到端的方式自主提出新的架构概念、实现代码、训练模型并验证性能。这种方法标志着从自动化优化到自动化创新的范式转变。

1. ASI-Arch完成了1773次自主实验，累计使用超过20000 GPU小时，最终发现了106种创新型的线性注意力架构。 2. 这些AI发现的架构性能优于人类设计的基线模型，并揭示了此前未知的架构创新路径。 3. 论文首次提出了关于科学发现的实证扩展定律，表明架构创新可以通过计算资源进行扩展，从而将研究进展从人类认知限制转向计算可扩展性。 4. 实验设计具有高度自动化和闭环特性，展示了AI系统在科研中的自主研究能力。 5. 论文未提及是否开源代码或使用公开数据集，但其方法论和实验框架值得进一步探索。

1. Neural Architecture Search with Reinforcement Learning (Zoph et al., 2017) 2. Efficient Architecture Search by Network Transformation (Cai et al., 2018) 3. DARTS: Differentiable Architecture Search (Liu et al., 2019) 4. AlphaFold: Using AI for Protein Structure Prediction (Jumper et al., 2021) 5. AutoML: A Survey of the State-of-the-Art (Zhang et al., 2021) 6. Programmable Reinforcement Learning Agents (Anthony et al., 2020) 7. Meta-Learning Neural Network Architectures via Reinforcement Learning (Miikkulainen et al., 2019)