SemanticFormer: Holistic and Semantic Traffic Scene Representation for Trajectory Prediction using Knowledge Graphs

自动驾驶中的轨迹预测依赖于对驾驶场景中所有相关内容的准确表示，包括交通参与者、道路拓扑、交通标志以及它们之间的语义关系。尽管这个问题受到了越来越多的关注，但大多数轨迹预测方法仍然没有充分考虑所有这些因素。我们提出了SemanticFormer，一种使用混合方法通过对语义交通场景图进行推理来预测多模态轨迹的方法。它利用元路径形式的高级信息，即代理人允许从知识图上驾驶的轨迹，然后通过基于多个注意机制的新型管道进行处理，以预测准确的轨迹。SemanticFormer包括分层异构图编码器，以捕捉代理人之间以及代理人和道路元素之间的时空和关系信息。此外，它还包括一个预测器，用于融合不同的编码并使用概率解码轨迹。最后，一个细化模块评估允许的元路径和速度配置文件，以获得最终预测的轨迹。对nuScenes基准测试的评估表明，与几种SOTA方法相比，性能得到了改善。此外，我们证明了我们的知识图可以轻松添加到两种基于图的现有SOTA方法中，即VectorNet和Laformer，替换它们原来的同质图。评估结果表明，通过添加我们的知识图，原始方法的性能分别提高了5％和4％。

论文旨在解决自动驾驶中轨迹预测的问题，即如何准确地预测驾驶场景中的多模态轨迹。

论文提出了一种基于语义交通场景图的混合方法，通过对元路径进行推理，利用多个注意机制来预测准确的轨迹。

论文的亮点包括：使用语义交通场景图来提高轨迹预测的准确性；采用多种注意机制来融合不同的编码和解码方法；在nuScenes数据集上实现了比其他SOTA方法更好的性能；并且还演示了如何将该知识图添加到现有的SOTA方法中以提高性能。

与本文相关的研究包括：VectorNet和Laformer，这两篇论文都是基于图的自动驾驶轨迹预测方法，而本文则通过引入语义交通场景图来改进这些方法。