Diving Deeper Into Pedestrian Behavior Understanding: Intention Estimation, Action Prediction, and Event Risk Assessment

本文从三个不同的任务角度深入探讨行人行为理解问题：意图估计、动作预测和事件风险评估。我们首先定义了这些任务，并讨论了它们在两个广泛使用的行人数据集JAAD和PIE中的表示和注释方式。然后，我们基于这些定义、可用的注释和三个新的度量类别提出了一个新的基准，每个类别都设计用于评估模型性能的不同方面。我们将新的评估方法应用于四个SOTA预测模型的每个任务，并比较它们在度量和输入模态方面的性能。特别是，我们通过考虑各种情境和背景因素，分析了意图估计和动作预测任务之间的差异。最后，我们研究了这两个任务之间的模型一致性，以展示它们的互补作用。所提出的基准揭示了不同数据模态、任务和相关数据属性的新事实。我们通过详细阐述我们的发现并提出未来的研究方向来总结本文。

本论文旨在从意图估计、动作预测和事件风险评估三个任务的角度探讨行人行为理解问题。同时，提出了一个基于JAAD和PIE数据集定义的新的评估标准，并使用三种新的指标来评估模型性能。

本论文提出了一个新的基于三个任务的评估标准，比较了四个最先进的预测模型在不同任务和输入模态下的性能，并分析了意图估计和动作预测任务之间的差异和互补作用。

论文使用了JAAD和PIE数据集，并提出了三种新的指标来评估模型性能。实验结果揭示了不同数据模态、任务和相关数据属性的作用。本论文提出的新的评估标准和指标可以为未来的行人行为理解研究提供参考。

在这个领域中，还有一些相关的研究，如《Pedestrian Behavior Prediction: A Survey》、《Understanding Pedestrian Behaviors: A Survey》等。