Can 3D Vision-Language Models Truly Understand Natural Language?

3D视觉语言（3D-VL）任务的快速发展为使用自然语言与具体代理或机器人进行人类交互开辟了新的途径。尽管取得了进展，但我们发现一个显著的限制：现有的3D-VL模型对语言输入的风格敏感，难以理解在不同变体中书写但具有相同语义的句子。这一观察引发了一个关键问题：3D视觉语言模型是否真正理解自然语言？为了测试3D-VL模型的语言可理解性，我们首先提出了一项语言鲁棒性任务，以系统评估各种任务中3D-VL模型的表现，并基准测试它们在面对不同语言风格变体时的性能。重要的是，这些变体在需要直接与人类进行交互的应用程序中常常会遇到，例如具体机器人，考虑到人类语言的多样性和不可预测性。我们提出了一个3D语言鲁棒性数据集，基于人类语言的特征设计，以促进鲁棒性的系统研究。我们的全面评估揭示了所有现有模型在各种3D-VL任务中性能的显著下降。即使是最先进的3D-LLM也无法理解同一句子的某些变体。进一步的深入分析表明，现有模型具有脆弱和有偏差的融合模块，这源于现有数据集的低多样性。最后，我们提出了一个由LLM驱动的无需训练的模块，可以提高语言的鲁棒性。数据集和代码将在github上提供。

论文旨在解决3D视觉语言模型（3D-VL）对语言输入风格的敏感性问题，提出了一种语言鲁棒性任务来评估3D-VL模型的语言理解能力，以及设计了一个基于人类语言特征的3D语言鲁棒性数据集。

论文提出了一种训练-free的模块，通过语言模型驱动，提高了3D-VL模型的语言鲁棒性。

论文设计了语言鲁棒性任务和3D语言鲁棒性数据集，揭示了现有模型在不同语言风格下的性能下降，提出了一种训练-free的模块来提高鲁棒性，实验结果表明该模块对提高模型性能有显著贡献。

近期相关研究包括：《EmbodiedQA: A New Benchmark for Embodied Language Understanding》、《Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks》等。