Astrocyte-Enabled Advancements in Spiking Neural Networks for Large Language Modeling

在复杂的大脑神经结构中，星形胶质细胞在发育、结构和代谢方面起着关键作用。这些细胞通过三分联突调节神经活动，直接影响学习和记忆等认知过程。尽管越来越多人认识到星形胶质细胞的重要性，但传统的脉冲神经网络模型仍然主要以神经元为中心，忽视了星形胶质细胞对神经动力学的深远影响。受这些生物学见解的启发，我们开发了一种星形胶质细胞调制脉冲单元（AM-SU），这是一种创新的框架，将神经元-星形胶质细胞相互作用融入计算范式，展示了在各种硬件平台上的广泛适用性。我们的星形胶质细胞调制脉冲神经网络（AM-SNet）在涉及记忆保持和自然语言生成的任务中表现出色，特别是在处理长期依赖性和复杂语言结构方面。AM-SNet的设计不仅增强了其生物学的真实性，还引入了新的计算动力学，使得处理复杂时间依赖性更加有效。此外，AM-SNet在实际应用中具有低延迟、高吞吐量和较少的内存使用，非常适合资源受限的环境。通过成功地将星形胶质细胞动力学融入智能神经网络中，我们的工作缩小了生物可信度和神经建模之间的差距，为未来包括神经元和星形胶质细胞的生物启发式神经计算研究奠定了基础。

本文旨在将星形胶质细胞的作用纳入神经网络计算模型，以提高对于长期依赖和复杂语言结构的处理能力。此前的神经网络模型大多忽略了星形胶质细胞对神经动力学的重要影响。

本文提出了一种创新的神经网络框架AM-SNet，将星形胶质细胞与神经元的相互作用融入计算模型中，以提高神经网络的生物可信度和计算效率。

AM-SNet在记忆保持和自然语言生成等任务中表现出优异的性能，特别是在处理长期依赖和复杂语言结构方面。实验设计合理，使用了多个数据集，并开源了代码。本文的研究为将神经元和星形胶质细胞的动力学纳入神经网络计算模型奠定了基础。

最近的相关研究包括：1. K. Kato等人的《Astrocyte calcium signaling transforms cholinergic modulation to cortical plasticity in vivo》；2. L. Pinto等人的《Astrocyte-neuron interactions in the medial prefrontal cortex》；3. M. Santello等人的《Astrocyte Calcium Signaling and Gliotransmission in Human Brain Organoids》等。