Long-Term Human Trajectory Prediction using 3D Dynamic Scene Graphs

我们提出了一种新颖的方法来预测长期人类轨迹，这对于在人口密集的环境中进行长期规划至关重要。现有的人类轨迹预测方法受到它们专注于避免碰撞和短期规划以及无法模拟人类与环境的复杂交互的限制。相比之下，我们的方法通过预测人类与环境的交互序列并利用这些信息指导长达60秒的轨迹预测来克服这些限制。我们利用大型语言模型（LLM）来预测与环境的交互，通过将LLM预测条件化为场景的丰富上下文信息。这些信息以3D动态场景图的形式给出，将环境的几何、语义和可穿越性编码为分层表示。然后，我们使用基于连续时间马尔可夫链的概率方法将这些交互序列转化为多模态时空分布，以预测人类位置。为了评估我们的方法，我们引入了一个新的半合成数据集，用于在复杂的室内环境中预测长期人类轨迹，还包括人类-物体交互的注释。我们进行了彻底的实验评估，结果显示我们的方法在60秒的时间范围内，平均负对数似然（NLL）降低了54％，最佳20个位移误差降低了26.5％，相比于最佳非特权基线。

长期人类轨迹预测在长期机器人规划中是必不可少的，然而现有的方法在避免碰撞和短期规划方面存在局限性，无法建模人类与环境的复杂交互。因此，本文试图通过预测人类与环境的交互序列来指导长期轨迹预测，从而解决这个问题。

本文的关键思路是利用大型语言模型（LLMs）来预测人类与环境的交互，并将这些交互序列转化为基于连续时间马尔可夫链的多模态时空分布，从而指导长期轨迹预测。

本文提出了一个新的长期人类轨迹预测方法，并引入了一个新的半合成数据集来评估该方法。实验结果表明，与最好的非特权基线相比，该方法在60秒的时间范围内平均负对数似然（NLL）降低了54%，最佳20位位移误差降低了26.5%。

在这个领域中，最近的相关研究包括：《Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks》、《Human Trajectory Prediction in Crowded Spaces: A Deep Learning Approach》、《Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamics》等。