Linking Vision and Multi-Agent Communication through Visible Light Communication using Event Cameras

未来，各种机器人、探测器、无人机和其他大规模生产的产品代理人预计将遇到它们相互交叉和协作的场景。在这种多代理系统中，个体识别和通信起着至关重要的作用。本文探讨了使用事件相机进行基于可见光通信的方法来解决这个问题。事件相机可以捕捉亮度变化区域内发生的事件，并可用作可见光通信的接收器，利用其高时间分辨率。通常情况下，使用传统CMOS相机时，大规模生产产品中外观相同的代理人在视觉上无法区分。因此，将视觉信息与通过传统无线电通信获得的信息联系起来是具有挑战性的。我们通过实验证明了基于事件相机和LED的可见光通信系统在个体识别方面优于使用ArUco标记识别的传统CMOS相机。在模拟中，我们还验证了我们的事件相机基于可见光通信在视觉上无法区分的多代理情况下优于传统无线电通信的场景。最后，我们新实现的多代理系统通过物理机器人实验验证了其功能。

本论文试图解决在多智能体系统中，如何通过可见光通信实现智能体的个体识别和通信的问题。

利用事件相机和LED灯实现可见光通信，以实现智能体的个体识别和通信。

实验结果表明，相比传统的CMOS相机和ArUco标记识别，基于事件相机和LED灯的可见光通信系统在智能体的个体识别上具有优势。同时，仿真实验也验证了在智能体外观相似的情况下，基于可见光通信的系统优于传统无线电通信。最后，论文还进行了物理机器人实验，验证了系统的功能。

在可见光通信和多智能体系统领域，已有一些相关研究。例如，论文中提到的基于ArUco标记识别的方法，以及其他基于视觉和无线电通信的智能体识别和通信方法。