CDEval: A Benchmark for Measuring the Cultural Dimensions of Large Language Models

随着大型语言模型的规模扩大，它们的能力得到了显著提升，因此越来越多的关注点集中在对齐问题上，以确保它们的负责任和道德使用。尽管现有的对齐工作主要集中在普遍价值观（如HHH原则）等方面，但文化方面，这是本质上多元化和多样化的，却没有得到足够的关注。本研究引入了一个新的基准CDEval，旨在评估LLM的文化维度。CDEval通过结合GPT-4的自动生成和人工验证构建，涵盖了七个领域的六个文化维度。我们的全面实验提供了有趣的有关主流LLM文化的见解，突出了不同维度和领域之间的一致性和差异性。研究结果强调了在LLM开发中整合文化考虑的重要性，特别是在不同文化环境中的应用。通过CDEval，我们旨在通过包括文化维度来拓展LLM对齐研究的视野，从而为未来LLM的开发和评估提供更全面的框架。这个基准作为LLM文化研究的宝贵资源，为更具文化意识和敏感性的模型铺平了道路。

本论文旨在解决大型语言模型（LLMs）在文化维度上的对齐问题，以确保它们的负责任和道德使用。作者认为现有的对齐方法主要集中在普遍价值观上，而文化方面却未得到充分关注。

论文提出了一个新的基准测试CDEval，旨在评估LLMs的文化维度。CDEval使用GPT-4的自动化生成和人工验证相结合的方法，涵盖七个领域的六个文化维度。通过实验发现，当前主流LLMs在不同维度和领域之间存在一定的一致性和差异性，强调了在LLMs开发中整合文化考虑的重要性，特别是在不同文化背景下的应用。

论文的亮点包括提出了一个新的基准测试CDEval，涵盖了LLMs的文化维度；通过实验揭示了当前主流LLMs在文化方面的一致性和差异性；强调了在LLMs开发中整合文化考虑的重要性；为文化研究提供了有价值的资源。

最近在这个领域中，还有一些相关的研究，例如：1.《The Ethics of Artificial Intelligence: Mapping the Debate》；2.《Towards a Code of Ethics for Artificial Intelligence》；3.《A Survey of Bias in Natural Language Processing》等。