ECLeKTic: A novel benchmark for evaluating cross-lingual knowledge transfer in LLMs

ECLeKTic 是一项新基准，旨在评估大语言模型 (LLMs) 跨语言知识迁移的能力。它通过闭卷问答任务测试模型，要求模型仅依靠内部知识回答与特定语言相关的问题。例如，在印尼东爪哇旅行时，导游提到萨尔瓦德哈玛铭文——这是国王克塔纳加拉时期发现的古文物。如果你用印尼语询问 LLM（如 Gemini），它能提供详细信息，比如该铭文写于 1269 年。然而，若用中文或德语提问，模型的知识水平显著下降。这表明，模型的知识可访问性在不同语言间存在显著差异，凸显了跨语言知识迁移的重要性。ECLeKTic 的目标正是揭示并改进这一问题，推动更公平和多语言支持的 LLM 发展。

本专栏通过快照技术转载，仅保留核心内容

内容中包含的图片若涉及版权问题，请及时与我们联系删除