Spiking Neural Networks for Fast-Moving Object Detection on Neuromorphic Hardware Devices Using an Event-Based Camera

乒乓球是一项快节奏且令人兴奋的运动，需要敏捷、精准和快速的反应能力。近年来，机器人乒乓球已成为机器人感知算法的热门研究挑战。快速准确的球检测对于使机器人手臂成功地回球至关重要。以往的方法采用传统的基于帧的摄像机，结合卷积神经网络（CNN）或传统的计算机视觉方法。在本文中，我们提出了一种新颖的解决方案，将事件驱动相机与脉冲神经网络（SNN）相结合来进行球检测。我们使用多个最先进的SNN框架，并为每个框架开发一个符合其相应限制的SNN架构。此外，我们在多个神经形态边缘设备上实现了SNN解决方案，并比较了它们的准确性和运行时间。这为机器人研究人员提供了一个基准，展示了每个SNN框架及其相应的神经形态边缘设备所能实现的能力。除了比较机器人的SNN解决方案外，我们还展示了在神经形态边缘设备上运行的SNN能够在闭环机器人系统中实时运行，例如我们所使用的乒乓球机器人。

提出了一种使用事件驱动相机和脉冲神经网络（SNN）相结合的方案来解决机器人乒乓球中的球检测问题。

使用事件驱动相机和SNN相结合的方法进行球检测，相比传统方法具有更高的精度和实时性。

论文提出了多种SNN框架，并为每个框架开发了相应的SNN架构，还在多个神经形态边缘设备上实现了SNN解决方案，比较了它们的准确性和运行时间。实验使用了乒乓球机器人，并展示了SNN在闭环机器人系统中的实时性能。

近年来，使用机器人进行乒乓球比赛的研究逐渐增多，例如《Robo-Pong: A Table Tennis Playing Robot》、《Design and control of a table tennis playing robot》等相关研究。