Towards Measuring and Modeling "Culture" in LLMs: A Survey

我们介绍了一项对近39篇旨在研究大型语言模型中文化表达和包容性的论文的调查。我们观察到，这些研究中没有一个定义“文化”，这是一个复杂而多方面的概念；相反，它们在一些特别设计的数据集上探究模型，这些数据集代表了某些“文化”的方面。我们称这些方面为“文化”的代理，并将它们组织在人口统计学、语义和语言文化交互代理的三个维度上。我们还对使用的探测方法进行了分类。我们的分析表明，只有“文化”的某些方面，如价值观和目标，得到了研究，其他一些有趣和重要的方面，特别是语义领域的多样性（Thompson等人，2020）和关于性质（Hershcovich等人，2022），尚未被探索。另外两个关键的差距是当前方法缺乏鲁棒性和情境性。基于这些观察，我们提供了几个建议，以制定一个全面且实用的研究议程，以进一步促进LLMs和基于LLM的应用中的文化包容性。

研究文化代表性和包容性在大型语言模型中的表现，探讨当前研究存在的问题和不足。

通过对39篇论文的分析，提出了文化代理人的三个维度，并指出当前研究存在的局限性，提出了进一步研究的建议。

论文分析了当前研究中存在的问题和不足，提出了进一步研究的建议。实验设计合理，使用了多个数据集，但缺乏开源代码。值得进一步研究的方向包括更多语义领域和相关性的研究，以及方法的鲁棒性和情境性。

最近的相关研究包括Thompson等人2020年的关于语义领域的研究和Hershcovich等人2022年关于相关性的研究。