Autonomous Driving with Spiking Neural Networks

自动驾驶需要一种综合方法，包括感知、预测和规划，同时在严格的能量约束下操作，以增强可扩展性和环境可持续性。我们提出了Spiking Autonomous Driving（SAD），这是第一个统一的脉冲神经网络（SNN），通过其事件驱动和节能特性来解决自动驾驶系统面临的能量挑战。SAD是端到端训练的，由三个主要模块组成：感知模块处理来自多视角摄像头的输入，构建时空鸟瞰图；预测模块利用具有脉冲神经元的新颖双通道来预测未来状态；规划模块考虑预测的占用、交通规则和乘车舒适度，生成安全轨迹。在nuScenes数据集上评估，SAD在感知、预测和规划任务中均实现了有竞争力的性能，同时利用了SNN的能效。这项工作突出了神经形态计算在应用于节能自动驾驶方面的潜力，这是迈向可持续和安全关键汽车技术的关键一步。我们的代码可在\url{https://github.com/ridgerchu/SAD}上获得。

论文试图通过使用脉冲神经网络（SNN）解决自动驾驶系统所面临的能源问题，提高可扩展性和环境可持续性。

论文提出了Spiking Autonomous Driving（SAD），这是第一个统一的SNN，它通过事件驱动和节能的特性来解决自动驾驶系统所面临的能源挑战。SAD由三个主要模块组成，包括感知、预测和规划。

论文在nuScenes数据集上进行了评估，并在感知、预测和规划任务中取得了有竞争力的性能，同时利用了SNN的能源效率。作者开源了代码。

最近的相关研究包括使用深度学习进行自动驾驶的研究，如End-to-End Learning for Self-Driving Cars和Neural Motion Planning: From Classical to Learning-based Techniques。