Large Language Models are Zero-Shot Next Location Predictors

预测个体未来会去的位置对于解决许多社会问题非常重要，比如疾病传播和减少污染等。然而，用于解决下一个位置预测的模型需要大量个体级别的信息才能有效训练。在某些地理区域或特殊情况下（如推荐系统中的冷启动），这样的数据可能稀缺甚至不可用。此外，设计一种能够推广或地理转移知识的下一个位置预测器仍然是一个开放的研究挑战。自然语言处理的最新进展导致了大型语言模型（LLM）的迅速传播，这些模型表现出很好的泛化和推理能力。这些见解，加上最近发现LLM富含地理知识的发现，使我们相信这些模型可以作为零-shot下一个位置预测器。本文评估了许多流行的LLM在这个角色中的能力，特别是Llama、GPT-3.5和Mistral 7B。在设计适当的提示之后，我们在三个真实的移动数据集上测试了模型。结果表明，LLM可以获得高达32.4%的准确度，相对于专门设计用于人类移动性的复杂DL模型，有着显著的相对改进超过600%。此外，我们还表明其他LLM无法正确执行该任务。为了防止正向偏差的结果，我们还提出了一个受其他研究启发的框架来测试数据污染。最后，我们探讨了使用LLM作为基于文本的下一个位置预测解释器的可能性，表明它们可以有效地为它们的决策提供解释。值得注意的是，7B模型提供了更通用但仍可靠的解释，相比较于更大的对应物。代码：github.com/ssai-trento/LLM-zero-shot-NL。

本文试图探讨使用大型语言模型（LLMs）作为零样本下一位置预测器的可行性，以解决训练模型所需的个人级信息缺乏或不可用的问题，并评估多个流行的LLMs在这个任务上的表现。

本文的关键思路是使用大型语言模型作为零样本下一位置预测器，并测试其在三个真实的移动数据集上的表现，结果显示LLMs在这个任务上的表现优于专门设计的深度学习模型，达到了32.4%的准确率。

本文的实验结果表明LLMs在零样本下一位置预测方面具有很好的表现，可以作为一种新的解决方案。此外，本文还提出了一种测试数据污染的框架，并探索了LLMs作为文本解释器的可能性。研究使用了Llama、GPT-3.5和Mistral 7B等多个流行的LLMs，并开源了代码。

在最近的相关研究中，还有一些关于使用LLMs进行下一位置预测的工作，如《Zero-shot Learning for Next Location Prediction》和《Next Place Prediction with Large-Scale Place Descriptions Using Language Models》等。