Autonomous Driving with Spiking Neural Networks

自动驾驶需要一种综合性的方法，包括感知、预测和规划，同时在严格的能源限制下运行，以增强可扩展性和环境可持续性。我们提出了Spiking Autonomous Driving（SAD），这是第一个统一的脉冲神经网络（SNN），通过其事件驱动和高效能的特性来解决自动驾驶系统面临的能源挑战。SAD进行端到端的训练，由三个主要模块组成：感知模块，处理来自多视角摄像头的输入，构建时空鸟瞰图；预测模块，利用具有脉冲神经元的新型双通道来预测未来状态；规划模块，考虑预测的占用、交通规则和乘坐舒适性，生成安全的轨迹。在nuScenes数据集上评估，SAD在感知、预测和规划任务中取得了竞争性的性能，同时利用了SNN的能源效率。这项工作突显了神经形态计算在应用于高效能自动驾驶方面的潜力，这是迈向可持续和安全关键的汽车技术的关键一步。我们的代码可在\url{https://github.com/ridgerchu/SAD} 上获得。

论文旨在解决自动驾驶面临的能源挑战，通过事件驱动和能源高效性来提高可扩展性和环境可持续性。

论文提出了Spiking Autonomous Driving (SAD)，这是第一个统一的脉冲神经网络(SNN)，通过其事件驱动和能源高效性来解决自动驾驶系统面临的能源挑战。SAD通过端到端训练，包括三个主要模块：感知、预测和规划。其中，预测模块采用新的双通道脉冲神经元，用于预测未来状态。SAD在nuScenes数据集上进行了评估，在感知、预测和规划任务中取得了有竞争力的性能。

论文的亮点在于提出了一种新型的脉冲神经网络用于自动驾驶系统，具有高效能源和可扩展性的优势。论文的实验设计合理，使用了nuScenes数据集，并开源了代码。未来值得深入研究的是如何进一步提高SAD的性能。

在这个领域中，最近的相关研究包括：'End-to-End Learning for Autonomous Driving with Attention Mechanism'，'A Survey of Deep Learning for Autonomous Driving: Past, Present, and Future'，'Towards End-to-End Lane Detection: an Instance Segmentation Approach'等。