The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

计算系统与大脑之间的关系自约翰·冯·诺依曼和艾伦·图灵以来，一直是推动理论先驱探索的重要动力。像大脑这样具有统一性且无标度的生物网络具备强大的特性，其中包括随时间泛化的功能，而这一点正是机器学习迈向通用推理模型道路上的主要障碍。 我们提出了一种名为“龙 hatchling”（BDH）的新大型语言模型架构，该架构基于一种受生物启发的无标度网络，由 n 个局部相互作用的神经元粒子构成。BDH 在不牺牲类似 Transformer 性能的前提下，融合了坚实的理论基础并具备内在的可解释性。 BDH 是一种实用、高效且先进的基于注意力机制的状态空间序列学习架构。除了作为一种图模型外，BDH 还支持对 GPU 友好的实现方式。它展现出与 Transformer 类似的缩放规律：在相同参数量（1000万至10亿）和相同训练数据条件下，BDH 在语言理解和翻译任务上的表现可与 GPT-2 相媲美。 BDH 可被表示为一种大脑模型。在推理过程中，BDH 的工作记忆完全依赖于使用脉冲神经元的赫布式学习（Hebbian learning）所驱动的突触可塑性。我们通过实验验证发现，当 BDH 处理语言输入并听到或思考某个特定概念时，其对应的特定单个突触会增强连接强度。BDH 的神经元交互网络是一个具有高度模块化和重尾度分布特征的图结构。该模型具备生物学合理性，揭示了人类神经元可能用于实现语言功能的一种潜在机制。 BDH 的设计注重可解释性。其激活向量稀疏且非负。我们在语言任务中验证了 BDH 具有单语义性（monosemanticity）。状态本身的可解释性——超越了神经元及模型参数层面的解释能力——是 BDH 架构固有的特性。

论文试图解决当前大语言模型在迈向通用推理模型过程中缺乏时间泛化能力和生物学可解释性的关键问题。传统Transformer架构虽然性能强大，但其结构与生物大脑网络差异较大，且难以解释内部状态变化。此外，现有模型的可解释性主要集中在参数或神经元层面，而非系统状态本身，这限制了我们对模型推理过程的理解。

提出一种名为'Dragon Hatchling'（BDH）的新架构，受大脑等生物网络启发，采用具有重尾度分布和高模块性的无标度图结构，由n个局部交互的脉冲神经元粒子构成。BDH通过突触可塑性和赫布学习机制实现工作记忆，在保持Transformer级别性能的同时，具备内在可解释性和生物学合理性。其关键创新在于将生物神经动力学与现代注意力机制结合，并实现状态级可解释性。

BDH在10M到1B参数范围内，在相同训练数据下达到GPT-2级别的语言和翻译任务表现；模型激活稀疏且非负，展现出单语义性（monosemanticity），支持细粒度解释；实验验证特定概念输入时相关突触强度动态增强，证明其类脑学习机制；架构支持GPU高效计算；代码与模型未明确提及开源，但强调其作为可解释脑启发模型的潜力，未来值得深入探索其在认知建模、持续学习和神经符号系统中的应用。

1. Scaling Laws for Neural Language Models (Kaplan et al., 2020) 2. Attention Is All You Need (Vaswani et al., 2017) 3. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks (Frankle & Carbin, 2019) 4. Towards Brain-Like Computing with Carbon Nanotube-Based Synaptic Transistors (Wu et al., 2023) 5. Spiking Neural Networks for Neuromorphic Computing (Pfeiffer & Pfeil, 2018) 6. Interpretability in Deep Learning: A Survey (Zhang et al., 2023)