Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation

多语言数据集中的文化偏见对它们作为全球基准的有效性构成了重大挑战。这些偏见不仅源于语言，还源于理解问题所需的文化知识，这降低了像MMLU这样的翻译数据集的实际效用。此外，翻译过程中常常会引入可能扭曲目标语言中问题意义或清晰度的错误。在多语言评估中，常见的做法是依赖机器翻译的评估集，但仅仅翻译数据集不足以解决这些问题。在这项工作中，我们追踪了这些问题对多语言评估及其后续模型性能的影响。我们对最先进的开放源码和专有模型进行了大规模评估，结果表明，MMLU上的进展在很大程度上取决于学习以西方为中心的概念，其中28%的问题需要文化敏感的知识。此外，对于需要地理知识的问题，有惊人的84.9%集中在北美或欧洲地区。根据模型评估是在全部问题还是标注为文化敏感的子集上进行，模型的排名会发生变化，这表明盲目依赖翻译后的MMLU会对模型排名产生扭曲。我们发布了Global-MMLU，这是一个改进版的MMLU，覆盖了42种语言的评估——通过与有偿的专业和社区注释者合作，验证翻译质量，同时严格评估原数据集中存在的文化偏见，从而提高了整体质量。这个全面的Global-MMLU数据集还包括标注为文化敏感和文化中立的指定子集，以便进行更全面、完整的评估。

该论文试图解决多语言数据集中存在的文化偏见问题，这些问题影响了其作为全球基准的有效性。这是现有研究中尚未充分解决的问题。

论文的关键思路是通过分析和改进现有的多语言评估数据集（如MMLU），识别并减少文化偏见的影响。具体方法包括聘请专业和社区注释者来验证翻译质量，并标注文化敏感性和文化中立性的问题，从而提供更全面和准确的评估工具。相比现有研究，这种方法不仅关注语言翻译的质量，还特别强调文化背景对评估结果的影响。

论文通过大规模评估展示了模型在处理文化敏感问题上的表现差异，并提出了Global-MMLU这一改进版本的数据集，覆盖42种语言。实验设计严谨，使用了多种最先进的开放源和专有模型进行测试。此外，论文开源了Global-MMLU数据集，为未来的研究提供了宝贵的资源。未来可以进一步探索如何在不同文化背景下优化模型的泛化能力。

最近在这个领域中，还有一些相关的研究，例如： 1. 'Beyond Translation: The Role of Cultural Context in Multilingual Evaluation' - 探讨了文化背景在多语言评估中的重要性。 2. 'Cultural Bias in Machine Translation: An Empirical Study' - 通过实证研究分析了机器翻译中的文化偏见。 3. 'Multilingual Evaluation of Language Models: Challenges and Opportunities' - 讨论了多语言评估面临的挑战和机遇。