Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting

解决问题：该论文旨在解决大型语言模型（LLMs）在不同语言上表现差异的问题，并提出了一种名为“跨语言思维提示（XLT）”的方法，以提高LLMs的多语言能力。

关键思路：XLT是一种通用的模板提示，旨在通过激发跨语言和逻辑推理技能来提高LLMs在各种多语言任务中的表现。相比当前领域的研究状况，该论文的思路创新之处在于提出了一种简单有效的方法来改善LLMs的多语言能力。

其他亮点：该论文使用了7个涉及推理、理解和生成任务的典型基准测试，并对高资源语言和低资源语言进行了全面评估。实验结果表明，XLT不仅显著提高了各种多语言任务的性能，而且还显著缩小了不同语言中每个任务的平均性能和最佳性能之间的差距。值得注意的是，XLT在算术推理和开放域问答任务中带来了超过10个百分点的平均改进。该论文未提供开源代码。

关于作者：主要作者包括Haoyang Huang、Tianyi Tang、Dongdong Zhang、Wayne Xin Zhao、Ting Song和Yan Xia，他们都来自微软亚洲研究院。他们之前的代表作包括“Dialogue Natural Language Inference”、“Multi-turn Response Selection for Chatbots with Deep Attention Matching Network”等。

相关研究：近期其他相关的研究包括：“Multi-Task Learning for Multilingual Natural Language Generation”（作者：Yiren Wang、Yunpu Ma、Xiaojun Wan，机构：Peking University）、“Unsupervised Multilingual Representation Learning for Morphologically Rich Languages”（作者：Yova Kementchedjhieva、Tsvetomila Mihaylova、Preslav Nakov，机构：Qatar Computing Research Institute）等。

论文摘要：本文的题目是《并非所有语言在大型语言模型中都平等：通过跨语言思维提示来提高多语言能力》。大型语言模型（LLMs）展示了令人印象深刻的多语言能力，但它们在不同语言上的表现差异很大。在这项工作中，我们介绍了一种简单而有效的方法，称为跨语言思维提示（XLT），以系统地提高LLMs的多语言能力。具体而言，XLT是一种通用的模板提示，它刺激跨语言和逻辑推理能力，以增强不同语言上的任务表现。我们在7个涉及推理、理解和生成任务的典型基准测试上进行了全面评估，涵盖高资源语言和低资源语言。实验结果表明，XLT不仅显著提高了各种多语言任务的性能，而且显著缩小了不同语言中每个任务的平均性能和最佳性能之间的差距。值得注意的是，XLT在算术推理和开放领域问答任务中带来了超过10个平均改进点。

内容中包含的图片若涉及版权问题，请及时与我们联系删除