Spiking World Model with Multi-Compartment Neurons for Model-based Reinforcement Learning

受大脑启发的脉冲神经网络（SNNs）在算法设计和感知应用中受到了广泛的研究关注。然而，其在决策领域中的潜力，特别是在基于模型的强化学习中，仍然未被充分挖掘。难点在于需要具备长期时间记忆能力的脉冲神经元，以及能够整合和学习信息以实现精确预测的网络优化方法。生物神经元的动态树突信息整合机制为我们解决这些挑战提供了宝贵的启示。在本研究中，我们提出了一种多隔室神经元模型，该模型能够非线性地整合来自多个树突来源的信息，从而动态处理长序列输入。基于这一模型，我们构建了一个脉冲世界模型（Spiking-WM），以支持基于SNNs的模型驱动深度强化学习（DRL）。我们使用DeepMind Control Suite对我们的模型进行了评估，结果表明，Spiking-WM不仅优于现有的SNN基础模型，而且在性能上可与采用门控循环单元（GRUs）的人工神经网络（ANN）基础世界模型相媲美。此外，我们还在包括SHD、TIMIT和LibriSpeech 100h在内的语音数据集上评估了所提模型的长期记忆能力，结果显示，我们的多隔室神经元模型在处理长序列任务时超越了其他基于SNN的架构。我们的研究结果强调了树突信息整合在塑造神经元功能中的关键作用，并突显了合作性树突处理在提升神经计算能力方面的重要性。

该论文试图解决如何将脑启发的脉冲神经网络（SNNs）应用于模型驱动的深度强化学习（DRL）领域的问题，特别是提升其在长期时序任务中的表现。这是一个相对新颖的问题，因为尽管SNNs在感知任务中得到广泛关注，但在决策和长期记忆任务中的应用仍处于早期探索阶段。

论文提出了一种多隔室神经元模型，该模型能够非线性地整合来自多个树突源的信息，并动态处理长序列输入。基于此模型，作者构建了一个名为Spiking-WM的框架，用于支持基于SNNs的模型驱动DRL。这一思路的新颖之处在于通过模拟生物神经元的树突信息整合机制，增强了SNNs的长期记忆能力与动态处理性能。

1. 论文设计了严格的实验，在DeepMind Control Suite上验证了Spiking-WM模型的有效性，并证明其性能可媲美基于GRU的ANN模型；2. 在语音数据集（如SHD、TIMIT和LibriSpeech 100h）上的测试进一步展示了多隔室神经元模型在处理长序列任务中的优越性；3. 研究强调了树突合作处理对神经计算的重要性，为未来SNNs的研究提供了新方向；4. 尽管未明确提及代码开源，但研究方法清晰且具有高度可复现性，值得进一步深入研究。

近期相关研究包括：1. 'Event-based Deep Learning for Spiking Neural Networks'，探讨了基于事件的学习方法在SNN中的应用；2. 'Neuromorphic Reinforcement Learning with Plastic Synapses'，研究了可塑性突触在强化学习中的作用；3. 'Long-Term Memory in Spiking Neural Networks via Heteroassociative Memories'，提出了通过异联想记忆增强SNN长期记忆能力的方法；4. 'Tree-like Dendritic Structures Enable Complex Computations in Neurons'，分析了树突结构对复杂神经计算的贡献。这些研究共同推动了SNNs在复杂任务中的应用潜力。