FipTR: A Simple yet Effective Transformer Framework for Future Instance Prediction in Autonomous Driving

这篇论文提到，从鸟瞰图(BEV)角度进行未来实例预测是自动驾驶中的重要组成部分，涉及未来实例分割和实例运动预测。现有的方法通常依赖于冗余和复杂的流程，需要多个辅助输出和后处理过程。此外，对每个辅助预测的估计误差会导致预测性能的降低。本文提出了一个简单而有效的完全端到端的框架，称为未来实例预测变压器(FipTR)，将任务视为BEV实例分割和预测未来帧。我们建议采用实例查询来表示特定的交通参与者，直接估计相应的未来占用掩模，从而摆脱复杂的后处理过程。此外，我们设计了一个流感知的BEV预测器，用于未来BEV特征预测，由流感知变形注意力组成，该注意力采用向后流来引导偏移采样。还提出了一种新颖的未来实例匹配策略，以进一步提高时间上的连贯性。广泛的实验证明了FipTR的优越性以及在不同时间BEV编码器下的有效性。

该论文旨在解决自动驾驶中的一个重要问题，即从鸟瞰图(BEV)角度进行未来实例预测，包括未来实例分割和实例运动预测。现有的方法通常依赖于冗余和复杂的流程，需要多个辅助输出和后处理过程。因此，本文提出了一种简单而有效的全端到端框架，名为Future Instance Prediction Transformer(FipTR)，用于BEV实例分割和未来帧的实例预测。

FipTR采用实例查询来直接估计相应的未来占用掩模，从而摆脱复杂的后处理过程。此外，该论文还提出了一种流感知BEV预测器，用于未来BEV特征预测，包括一个流感知变形注意力和一个用于偏移采样的反向流引导。

论文的实验结果表明，FipTR在不同的时间BEV编码器下具有优越性能。该论文还提出了一种新颖的未来实例匹配策略，进一步提高了时间上的一致性。此外，该论文使用了KITTI和nuScenes数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如《Multi-Modal Trajectory Prediction with Residual Flows and Intersection Attention》和《End-to-End Learning of Driving Models from Large-Scale Video Datasets》。