Reframing Spatial Reasoning Evaluation in Language Models: A Real-World Simulation Benchmark for Qualitative Reasoning

空间推理在人类认知和机器智能中扮演着重要的角色，这促使人们对语言模型在这方面的能力进行了新的研究。然而，现有的基准测试揭示了在评估定性空间推理（QSR）方面存在的缺陷。这些基准测试通常呈现过于简化的情境或不清晰的自然语言描述，从而阻碍了有效的评估。我们提出了一种新颖的基准测试，用于评估语言模型在QSR方面的能力，该测试基于现实的3D模拟数据，提供了一系列具有不同物体和它们的空间关系的房间布局。这种方法为空间推理评估提供了更详细和具有上下文丰富性的叙述，与传统的玩具任务导向的情境不同。我们的基准测试涵盖了广泛的定性空间关系，包括拓扑关系、方向关系和距离关系。这些关系以不同的视角、不同的粒度和不同的关系约束密度呈现，以模拟现实世界的复杂性。我们的基准测试的一个关键贡献是我们基于逻辑的一致性检查工具，它能够评估多个合理的解决方案，符合现实世界中空间关系常常存在不同解释的情况。我们对先进的语言模型进行基准测试评估，揭示了它们在空间推理方面的优点和局限性。它们在多跳空间推理和解释不同视角描述方面面临困难，指出了未来改进的方向。

本论文旨在解决语言模型在定性空间推理方面的能力评估问题，提出了一个基于真实3D模拟数据的新型基准测试，以评估语言模型在定性空间推理方面的能力。

本论文的关键思路是通过提供真实的3D模拟数据，提供一个更加详细和上下文丰富的空间推理评估基准测试，涵盖了广泛的定性空间关系，并提供了逻辑一致性检查工具，以评估多个合理解决方案。

本论文的亮点包括使用真实的3D模拟数据，提供一个更加详细和上下文丰富的空间推理评估基准测试，涵盖了广泛的定性空间关系，提供了逻辑一致性检查工具，以评估多个合理解决方案。实验设计了多个房间布局，包含不同的物体和它们之间的空间关系，评估了先进的语言模型在空间推理方面的优缺点，指出了未来改进的方向。

最近在这个领域中，还有一些相关的研究，例如“Qualitative Spatial Reasoning: Successes and Challenges”，“Learning to Reason with Third-Party Knowledge via Probabilistic Language Interpretation”，“A Comprehensive Survey on Qualitative Spatial Reasoning”等。