Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation

深度强化学习（DRL）为智能代理（例如自动驾驶汽车）学习如何在复杂场景中导航提供了一种有前途的方法。然而，使用神经网络作为函数逼近器的DRL通常被认为是一个黑盒子，解释性很少，而且在高度交互的多智能体环境中自主导航时往往会出现次优性能的问题。为了解决这些问题，我们提出了三个带有时空关系推理的辅助任务，并将它们整合到标准的DRL框架中，这提高了决策性能并提供了可解释的中间指标。我们提出明确推断周围智能体（例如人类驾驶员）的内部状态（即特征和意图），并通过反事实推理预测它们在有和没有自主代理的情况下的未来轨迹。这些辅助任务为推断其他交互代理的行为模式提供了额外的监督信号。我们比较了多种框架集成策略。我们还使用了一个时空图神经网络来编码动态实体之间的关系，这增强了自主代理的内部状态推断和决策能力。此外，我们提出了一种基于这两种情况中预测轨迹之间差异的互动评估机制，该机制指示了自主代理对其他代理的影响程度。为了验证所提出的方法，我们设计了一个基于智能交叉口驾驶模型（IIDM）的交叉口驾驶模拟器，该模拟器模拟了车辆和行人。我们的方法在标准评估指标方面实现了稳健和最先进的性能，并为决策制定提供了可解释的中间指标（即内部状态和互动分数）。

论文试图通过提出三个辅助任务，实现在高度交互的多智能体环境中提高自主导航的决策性能和可解释性。同时，还试图解决深度强化学习中神经网络作为函数逼近器的黑盒问题和性能亚优化问题。

论文的关键思路是通过加入三个辅助任务，实现对周围智能体的内部状态和未来轨迹进行推理，并通过反事实推理来提供额外的监督信号。同时，采用时空图神经网络来编码动态实体之间的关系，提高自主导航的决策性能和可解释性。

论文在交通路口驾驶模拟器上进行了实验验证，证明了提出的方法在标准评估指标上具有鲁棒的性能，并提供了可解释的中间指标（即内部状态和交互性得分）来支持决策。同时，论文提供了开源代码。

最近的相关研究包括：1）多智能体强化学习（MARL）方法的研究；2）基于图神经网络的智能体关系建模方法的研究；3）自主导航中的可解释性和安全性问题的研究。相关论文包括：1）《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》；2）《Graph Neural Networks for Social Recommendation》；3）《Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network for Lidar 3D Vehicle Detection》。