RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception

本文提出了一种新颖的统一表示方法RepVF，将多个自主驾驶3D感知任务（如3D物体检测和3D车道检测）的表示融合到单个框架中，从而解决了传统多任务学习方法中的计算效率和特征竞争问题。RepVF通过矢量场表征场景中不同目标的结构，实现了单头多任务学习模型，显著减少了计算冗余和特征竞争。在此基础上，本文提出了RFTR网络，利用查询的分层结构隐含地模拟了任务之间和任务内部的关系，消除了任务特定的头和参数，从根本上减少了传统多任务学习范式中的冲突。作者通过将OpenLane数据集和Waymo Open数据集的标签组合来验证了该方法的有效性和效率。本文的工作在自主驾驶多任务感知的效率和效果方面取得了显著进展，为同时和并行处理多个3D感知任务提供了新的视角。代码可在https://github.com/jbji/RepVF找到。

如何在自动驾驶中同时处理多个3D感知任务，以及如何解决传统多任务学习方法中的计算效率和特征竞争问题？

提出了一种新的统一表示法RepVF，通过向量场来描述场景中不同目标的结构，实现了单头多任务学习模型，从而显著减少了计算冗余和特征竞争。同时，引入了RFTR网络，利用查询的分层结构隐式地建模不同任务之间和任务内部的关系，消除了传统多任务学习范式中的冲突。

论文使用了OpenLane和Waymo Open数据集进行验证，并将结果代码开源。这项工作在自动驾驶中的多任务感知方面取得了重要进展，为处理多个3D感知任务提供了新的视角和解决方案。

最近的相关研究包括《Multi-task Learning for Autonomous Driving》、《End-to-End Multi-Task Learning with Attention》等。