LG-Traj: LLM Guided Pedestrian Trajectory Prediction

准确的行人轨迹预测对于各种应用至关重要，它需要深入了解动态环境中行人运动模式。然而，现有的行人轨迹预测方法仍需要更多探索，以充分利用这些运动模式。本文研究了使用大型语言模型（LLMs）诱导运动线索来改进行人轨迹预测任务的可能性。我们介绍了LG-Traj，一种新颖的方法，将LLMs结合起来，生成行人过去/观察到的轨迹中存在的运动线索。我们的方法还通过使用高斯混合对训练数据的未来轨迹进行聚类，结合未来轨迹中存在的运动线索。这些运动线索，以及行人坐标，有助于更好地理解潜在的表示。此外，我们利用奇异值分解来增强观察到的轨迹，将它们纳入模型学习过程中，进一步增强表示学习。我们的方法采用基于Transformer的架构，包括一个运动编码器来建模运动模式，以及一个社交解码器来捕捉行人之间的社交互动。我们在流行的行人轨迹预测基准测试数据集ETH-UCY和SDD上展示了我们方法的有效性，并进行了各种消融实验来验证我们的方法。

本文旨在通过引入大型语言模型（LLMs）来改进行人轨迹预测任务，以诱导运动线索。该方法探索了使用LLMs来提取运动模式的可能性。

该方法使用了一个新颖的方法LG-Traj，结合了LLMs、高斯混合模型和奇异值分解来提取运动线索，以及一个基于变压器的架构，包括运动编码器和社交解码器。这种方法在ETH-UCY和SDD等流行的行人轨迹预测基准测试上表现出了有效性。

该方法的亮点包括使用LLMs提取运动模式、使用高斯混合模型提取未来轨迹的运动线索、使用奇异值分解增强观察到的轨迹的表示学习、使用变压器架构捕捉行人之间的社交交互。论文还开源了代码，并进行了各种实验和消融分析。

近期在这个领域的相关研究包括：《Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks》、《Convolutional Social Pooling for Vehicle Trajectory Prediction》等。