Exploring and Improving the Spatial Reasoning Abilities of Large Language Models

本文探讨了大型语言模型（LLMs）在处理数值轨迹数据时的表现，尤其是在空间推理方面的能力。我们使用了ChatGPT-3.5、ChatGPT-4和Llama 2 7B模型，并针对CALVIN基线和相关任务的三维机器人轨迹数据进行了测试，包括二维方向和形状标记。此外，我们还引入了一种新的基于前缀的提示机制，对三维轨迹数据的性能提高了33%，对SpartQA任务的性能提高了10%（对于其他提示类型也有提高）。通过对三维轨迹数据的实验，我们可以窥见LLMs如何处理数字和空间信息，为未来的增强提供了可靠的基础。

本论文试图探究大型语言模型（LLMs）在处理数字轨迹数据时的表现，特别是在空间推理方面的能力。

本论文使用ChatGPT-3.5、ChatGPT-4和Llama 2 7B模型对CALVIN基线的3D机器人轨迹数据进行了实验，并提出了一种新颖的基于前缀的提示机制，取得了显著的性能提升。

本论文的实验设计详尽，使用了CALVIN数据集和SpartQA数据集，实验结果表明新提出的提示机制可以显著提高模型性能。此外，本论文探究了LLMs处理数字和空间信息的方式，为未来的研究提供了基础。

最近的相关研究包括《GPT-3: Language Models are Few-Shot Learners》和《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》等。