TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models

交通预测是智能交通系统（ITS）中一个关键的方面，高度精确的预测对于有效的交通管理具有深远的意义。目前基于深度学习的交通预测模型的精度通常随着训练数据量的增加而提高。然而，获取全面的时空交通数据往往面临着挑战，主要是由于数据采集和保留所需的巨大成本。因此，在历史交通数据有限的区域开发能够实现准确预测和良好泛化能力的模型是一个具有挑战性的问题。值得注意的是，近年来快速发展的预训练大型语言模型（LLMs）已经展示了在跨模态知识转移和少样本学习方面出色的能力。鉴于交通数据的时序性，类似于语言，我们引入了TPLLM，这是一个利用LLMs的新型交通预测框架。在该框架中，我们基于卷积神经网络（CNNs）构建了序列嵌入层和基于图卷积网络（GCNs）构建了图嵌入层，以提取序列特征和空间特征。然后将它们集成起来形成适合LLMs的输入。TPLLM采用了低秩自适应（LoRA）微调方法，从而实现了高效学习和最小化计算需求。两个真实世界数据集上的实验表明，TPLLM在完整样本和少样本预测场景中表现出了可靠的性能，有效地支持了在历史交通数据稀缺地区的ITS发展。

本文旨在解决在交通数据收集和保留成本高昂的情况下，如何开发能够在历史交通数据有限的区域中实现准确预测和良好泛化能力的交通预测模型的问题。

TPLLM是一种新的交通预测框架，利用预训练的大型语言模型（LLMs）进行跨模态知识转移和少样本学习。该框架结合了基于卷积神经网络（CNNs）的序列嵌入层和基于图卷积网络（GCNs）的图嵌入层来提取序列特征和空间特征，并将它们融合成适合LLMs的输入。

本文的实验结果表明，TPLLM在全样本和少样本预测场景中均表现出良好的性能，有效支持了在历史交通数据有限的区域中ITS的发展。值得关注的是，TPLLM采用了Low-Rank Adaptation（LoRA）微调方法，从而实现了高效学习和降低计算需求。此外，本文还提供了两个真实世界数据集和开源代码。

在交通预测领域，还有许多相关的研究正在进行。例如，基于深度学习的交通预测模型已经被广泛研究和应用，如ST-ResNet、ST-Attnet等。