Towards Effective Fusion and Forecasting of Multimodal Spatio-temporal Data for Smart Mobility

随着基于位置的服务的快速发展，包括轨迹、交通方式、交通流量和社交签到在内的多模式时空(ST)数据正在被收集用于基于深度学习的方法。这些基于深度学习的方法学习ST相关性，以支持智能交通、智能城市和其他智能交通系统等领域的下游任务。尽管它们有效，但ST数据融合和预测方法在实际场景中面临着实际挑战。首先，对于ST数据不足的区域，预测性能较差，因此有必要从异构区域中转移元知识以增强稀疏表示。其次，在多交通方式场景中准确预测是非常困难的，因为类似交通方式的细粒度ST特征，因此有必要区分和测量ST相关性以减轻由纠缠的ST特征引起的影响。最后，在某些场景下，部分数据模态（例如交通方式）由于隐私或技术问题而丢失，因此有必要有效地融合多模态稀疏ST特征并丰富ST表示。为了解决这些挑战，我们的研究旨在为智能交通场景中的多模态ST数据开发有效的融合和预测方法。在本文中，我们将介绍我们最近的工作，探讨各种实际应用中的挑战，并为未来的工作建立开放性挑战。

本论文旨在解决智能出行场景下多模态时空数据融合和预测的实际挑战，包括元知识转移、多交通模式预测和多模态数据融合等问题。

论文提出了一种有效的多模态时空数据融合和预测方法，该方法利用元知识转移和交通模式识别来增强预测性能，并使用多模态融合技术来丰富时空特征。

论文使用真实世界的数据集进行实验，并取得了良好的预测性能。此外，论文提出的方法还可以适用于其他领域的时空数据分析，如气象预测和人口流动预测。

在该领域的相关研究包括：'DeepST: A Spatio-Temporal Neural Network for Traffic Prediction Using Heterogeneous Data'和'Learning Multi-Modal Transit Representations for Transfer Learning'等。