Multi-task Learning for Real-time Autonomous Driving Leveraging Task-adaptive Attention Generator

实时处理对于自动驾驶系统至关重要，因为需要即时决策和快速响应。在现实世界的场景中，自动驾驶车辆不断地解释周围环境、分析复杂的传感器数据，并在短短的时间内做出决策，以通过多个计算机视觉任务确保安全。在本文中，我们提出了一个新的实时多任务网络，擅长三项重要的自动驾驶任务：单目三维物体检测、语义分割和密集深度估计。为了应对多任务学习中普遍存在的负面转移挑战，我们引入了一个任务自适应注意力生成器。该生成器被设计成能够自动识别三个任务之间的相互关系，并安排任务共享模式，同时利用硬参数共享方法的效率。据我们所知，所提出的模型在同时处理多个任务，特别是3D物体检测方面具有开创性的能力，同时保持实时处理速度。我们在Cityscapes-3D数据集上对严格优化的网络进行测试，始终优于各种基准模型。此外，深入的消融研究证实了我们框架中集成的方法的有效性。

本论文旨在解决自主驾驶系统中实时处理的问题，包括三个重要的任务：单目三维物体检测、语义分割和密集深度估计。

为了避免多任务学习中的负面转移问题，本文引入了一个任务自适应注意力生成器，用于自动识别三个任务之间的相互关系并安排任务共享模式，同时利用硬参数共享方法的效率。

本文提出的多任务网络可以同时处理多个任务，尤其是3D物体检测任务，并保持实时处理速度。在Cityscapes-3D数据集上的测试中，我们的网络始终优于各种基准模型。此外，深入的消融研究证实了我们框架中集成的方法的有效性。

最近在这个领域中，也有一些相关的研究，如：《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Multi-Task Learning for Large-Scale Scene Understanding with Scene-Shared CNN》等。