Research Borderlands: Analysing Writing Across Research Cultures

提升语言技术的文化胜任力非常重要。然而，大多数近期的研究很少与他们所研究的社区进行互动，而是依赖于合成的设定和不完美的文化代理指标。在本工作中，我们采用以人类为中心的方法，来发现和衡量基于语言的文化规范以及大语言模型（LLM）的文化胜任力。我们将关注点放在单一类型的文化——研究文化，以及单一任务——跨研究文化的写作适应上。通过与跨学科研究人员（他们是跨越不同文化领域的专家）的一系列访谈，我们构建了一个包含结构、风格、修辞和引用规范的框架，这些规范在不同的研究文化中有所不同。 我们通过一组计算指标将这些特征具体化，并用它们实现以下目标：（a）大规模揭示人类撰写的研究论文中潜在的文化规范；（b）突出大语言模型缺乏文化胜任力的问题，以及它们倾向于使写作同质化的倾向。总体而言，我们的工作展示了以人类为中心的方法在衡量人类撰写文本和大语言模型生成文本中的文化规范方面的有效性。

论文试图解决语言模型在跨文化情境下的适应性问题，特别是其对不同研究文化的语言规范的理解和生成能力。这是一个较少被深入探讨的问题，尤其是在如何衡量和提升LLM的文化敏感性方面。

论文采用以人为中心的方法，通过采访跨学科研究人员来构建一个包含结构、风格、修辞和引用规范的框架，并将其转化为计算指标。这种方法不仅用于分析人类写作中的潜在文化规范，还用于评估LLM在跨文化写作任务中的表现。相比传统依赖合成数据或间接代理的研究，本文更注重与实际社区的互动和真实数据的使用。

1. 提出了一个全面的框架来描述研究文化中的语言规范；2. 设计了具体的计算指标以量化这些规范；3. 使用大规模文本数据验证了框架的有效性；4. 显示了LLM在跨文化写作中的局限性，如写作风格的同质化；5. 研究设计结合定性和定量方法，具有较强的实证基础。值得注意的是，虽然论文没有提到代码开源，但其提出的方法论值得进一步探索，例如扩展到其他文化领域或开发改进LLM文化适应性的技术。

近期相关研究包括：1. 'Cultural Probing of Language Models'，探讨了文化背景对LLM输出的影响；2. 'Evaluating Cultural Sensitivity in NLP Systems'，提出了评估NLP系统文化敏感性的新方法；3. 'Multilingual Models and Cultural Norms'，分析多语言模型在不同文化背景下的表现；4. 'Cross-Cultural Text Adaptation with Pre-trained Models'，研究预训练模型在跨文化交流中的应用。这些工作共同构成了当前关于文化与语言技术交互的研究趋势。