Exploring the Limitations of Large Language Models in Compositional Relation Reasoning

我们提供了一个全面的评估大型语言模型（LLMs）通过一个涵盖了1500个英语测试案例的基准测试，来评估它们理解构成关系的能力，该基准测试旨在涵盖六种不同类型的构成关系：位置、比较、个人、数学、身份和其他。为了认识到多语言能力的重要性，我们扩展了我们的评估，将这些案例翻译成了中文、日语、法语和韩语。我们的多语言构成关系（MCR）基准测试旨在调查LLMs在处理不同语言环境下的构成关系推理时的稳健性和适应性。

这篇论文试图通过一个包含1,500个英文测试用例的基准测试来评估大型语言模型（LLMs）在理解组合关系方面的能力，包括位置、比较、个人、数学、身份和其他六种不同类型的组合关系。此外，还扩展了评估范围，将这些测试用例翻译成中文、日语、法语和韩语，以考察LLMs在处理不同语言环境下的组合关系推理时的鲁棒性和适应性。

本文的关键思路是通过设计一个基准测试，评估LLMs在理解组合关系方面的能力，并扩展评估范围，考察LLMs在处理不同语言环境下的鲁棒性和适应性。

本文设计了一个包含1,500个测试用例的基准测试，覆盖了六种不同类型的组合关系，并扩展了评估范围，将测试用例翻译成中文、日语、法语和韩语。实验结果表明，LLMs在处理组合关系推理时表现出良好的鲁棒性和适应性。此外，本文还提出了一些值得深入研究的问题，如如何更好地利用多语言信息来提高LLMs的性能。

最近的相关研究包括《GPT-3》、《BERT》等大型语言模型的研究，以及一些关于语言模型鲁棒性和适应性的研究，如《On the Robustness of Neural Machine Translation Models to Homophone Substitutions》、《Adapting Neural Machine Translation to Open-Vocabulary Domain Adaptation》等。