Spiking Decision Transformers: Local Plasticity, Phase-Coding, and Dendritic Routing for Low-Power Sequence Control

基于Transformer架构的强化学习智能体在序列决策任务中表现出色，但它们依赖密集的矩阵运算，因此不适合用于对能耗敏感的边缘计算平台。脉冲神经网络（SNN）有望实现超低功耗、基于事件驱动的推理，但此前尚未有研究能将脉冲动态与基于回报的序列建模无缝结合。我们提出了脉冲决策变压器（Spiking Decision Transformer，简称SNN-DT），该模型在每个自注意力模块中嵌入了Leaky Integrate-and-Fire神经元，通过代理梯度实现端到端训练，并融合了受生物学启发的三因素可塑性机制、相位偏移的基于脉冲的位置编码以及轻量级的树突路由模块。我们的实现方案在经典控制基准任务（CartPole-v1、MountainCar-v0、Acrobot-v1、Pendulum-v1）上的表现达到或超过了标准决策变压器的水平，而在每次决策过程中发出的脉冲数量少于十个，这一能量代理指标表明其单次推理的能量消耗降低了超过四个数量级。通过将序列建模与类脑计算效率相结合，SNN-DT为在嵌入式和可穿戴设备上实现实时、低功耗控制开辟了一条新路径。

论文旨在解决基于Transformer架构的强化学习代理在边缘设备上部署时能耗过高的问题。Transformer依赖密集矩阵运算，导致其在能源受限的场景（如嵌入式或可穿戴设备）中表现不佳。如何在保持决策性能的同时显著降低能耗，是一个关键挑战。

提出了一种新的Spiking Decision Transformer（SNN-DT），将脉冲神经网络（SNN）与Transformer的序列建模能力结合。通过引入Leaky Integrate-and-Fire神经元、相位偏移的位置编码、端到端的代理梯度训练以及生物启发的三因素可塑性机制，SNN-DT在保持决策性能的同时显著降低了脉冲数量，从而降低能耗。

1. SNN-DT在CartPole-v1、MountainCar-v0、Acrobot-v1和Pendulum-v1等经典控制任务上表现优异，甚至超过标准Decision Transformer。 2. 每次决策仅需不到10个脉冲，能耗预估降低超过四个数量级。 3. 引入了脉冲神经网络中的相位偏移位置编码和轻量级树突路由模块。 4. 端到端通过代理梯度训练，结合三因素可塑性规则，提升模型适应性。 5. 为未来在边缘设备上部署高效强化学习模型提供了新方向。

1. Decision Transformer: Reinforcement Learning via Sequence Modeling (Chen et al., 2022) 2. Spiking Transformers for Event-based Vision (Cramer et al., 2022) 3. Deep Spiking Neural Networks with Surrogate Gradient Learning (Neftci et al., 2019) 4. Efficient Training of Spiking Neural Networks Using Surrogate Gradients (Zenke & Ganguli, 2018) 5. Transformers meet Spiking Neural Networks: A Survey (2023)