CoSense3D: an Agent-based Efficient Learning Framework for Collective Perception

“集体感知”近年来受到了广泛关注，因为它具有减少遮挡和扩大视野的优势，从而提高可靠性、效率和最为关键的决策安全性。然而，开发集体感知模型需要大量的资源，因为需要处理许多代理的输入数据，通常对于一个帧需要处理几十张图像和点云。这不仅减缓了集体感知模型的开发过程，而且阻碍了更大模型的使用。在本文中，我们提出了一种基于代理的训练框架，将深度学习模块和代理数据分开处理，以获得更清晰的数据流结构。这个框架不仅提供了API，可以灵活地原型化数据处理管道和定义每个代理的梯度计算，而且还提供了用户界面，进行交互式训练、测试和数据可视化。在著名的集体感知基准OPV2V上进行的四个集体目标检测模型的训练实验结果表明，基于代理的训练可以显著减少GPU内存消耗和训练时间，同时保持推理性能。该框架和模型实现可在\url{https://github.com/YuanYunshuang/CoSense3D}上获得。

提高集体感知模型的开发效率和资源利用率

提出基于代理的训练框架，将深度学习模块和代理数据分开处理，减少GPU内存消耗和训练时间

使用OPV2V数据集进行实验，证明代理训练可以显著提高开发效率和资源利用率，同时保持推理性能。开源代码可用于原型设计、交互式训练、测试和数据可视化

在集体感知领域，近期的相关研究包括："Collective Perception: Where Are We Now?"和"A Survey of Collective Perception"