Do Multilingual LLMs Think In English?

大型语言模型（LLMs）具有多语言能力，可以解决各种语言的任务。然而，我们发现，当前的LLMs在进行关键决策时，无论输入和输出语言是什么，其表示空间都最接近英语。通过使用对数几率透镜探索法语、德语、荷兰语和汉语句子的内部表示，我们发现LLM首先会生成与英语接近的表示，特别是对于语义负载较重的词，然后再将这些表示翻译成目标语言。我们进一步证明，在这些LLMs中，激活转向在转向向量用英语计算时比用输入和输出语言计算时更有效。这表明，多语言LLMs在执行关键推理步骤时，使用的表示方式深受英语影响，而这种方式对系统用户来说并不透明。

论文试图探讨大型语言模型（LLMs）在处理多语言任务时是否依赖于英语表征空间进行关键决策，即使输入和输出的语言并非英语。这是一个新的问题，它挑战了对LLMs如何处理不同语言的理解，并揭示了潜在的偏见或局限性。

关键思路在于通过分析LLMs内部表示（特别是使用logit镜头方法）来验证这些模型在处理非英语句子时，首先生成接近英语的表示，然后再将其转换为目标语言。此外，研究发现当使用英语计算激活转向向量时，效果优于直接在输入输出语言中计算。这表明，尽管LLMs声称具有多语言能力，但其核心推理过程可能主要基于英语表示。

该研究不仅展示了LLMs在处理多语言任务时的一个重要特性，还强调了这一现象对系统用户透明度的影响。实验设计包括对多种语言（如法语、德语、荷兰语和中文）的句子进行内部表示分析。虽然文中未提及数据集名称或开源代码，但研究结果提示未来工作可以关注如何使LLMs更好地适应非英语环境，以及开发更公平、透明的多语言处理机制。

最近的研究还包括：1.《Multilingual Representations in Pre-trained Models》, 探讨预训练模型中的多语言表示；2.《Bias in Multilingual Neural Machine Translation》, 研究多语言神经机器翻译中的偏差；3.《Improving Multilingual Models via Contrastive Learning》, 利用对比学习改进多语言模型。