Extrinsic Evaluation of Cultural Competence in Large Language Models

本文探讨了不同用户和语言技术之间的有效交互需要后者具备文化相关性和敏感性的输出。以往的研究评估了模型对文化规范、价值观和文物的了解程度，但未考虑这种知识在下游应用中的表现。本文关注文化能力在两个文本生成任务中的外在评估，即开放式问答和故事生成。我们在明确提示中扰动国籍时，定量和定性地评估模型输出。虽然我们发现模型输出随着不同国籍和具有文化相关性的词汇的变化而有所不同，但我们也发现不同国家输出文本相似度和这些国家的文化价值之间存在较弱的相关性。最后，我们讨论了在设计面向用户任务的文化能力全面评估时需要考虑的重要因素。

本文旨在评估语言技术在考虑文化因素时的文化能力，以及其在开放式问答和故事生成任务中的表现。

本文通过在提示中明确指出国籍等文化因素的方式，定量和定性评估模型输出的文化能力。研究发现，模型输出会因为不同国籍和相关文化词汇的变化而产生差异，但是模型输出之间的文本相似度与国家的文化价值之间存在较弱的相关性。

本文的实验设计了开放式问答和故事生成任务，并使用了多个数据集。研究发现，模型输出在考虑文化因素时表现出了一定的文化敏感性。本文的研究结果对于设计具有文化敏感性的语言技术具有一定的指导意义。

相关研究包括对模型对文化规范、价值观和文化符号的理解进行评估的研究，以及对于文化敏感性的研究。例如：《Assessing the Cross-Cultural Competence of Neural Conversational Models》和《Towards Evaluating the Robustness of Neural Machine Translation Models against Speech Translation Errors》。