Culture Cartography: Mapping the Landscape of Cultural Knowledge

为了安全且高效地服务全球用户，大语言模型（LLM）需要具备特定文化的背景知识，而这些知识在预训练过程中可能并未被充分学习。那么，我们如何找到这样一类知识：它既（1）对特定文化群体内的用户而言具有显著意义，又（2）是当前大语言模型所不了解的？目前最常见的解决方案属于单向主导模式：要么由研究人员设计难题，用户被动作答（传统标注方式），要么由用户主动生成内容，研究人员再将其整理为评测基准（知识提取）。这一过程若能引入人机协同的混合主导机制，将更具优势——即用户可引导流程以真实反映其文化特征，同时大语言模型也能推动流程聚焦于更富挑战性、且符合研究目标的问题。为此，我们提出一种名为“文化测绘”（CultureCartography）的混合主导方法。该方法首先由大语言模型基于自身低置信度回答的问题启动标注流程，从而明确揭示其已有知识及知识空白。这样一来，人类受访者便可通过直接编辑，填补这些空白，并将模型引导至更具文化相关性的主题方向。我们将这一方法实现为一个工具，称为“文化探索者”（CultureExplorer）。与传统的仅由人类回答模型提出问题的基线方法相比，我们发现CultureExplorer能更有效地发掘出即便是结合网络搜索后，DeepSeek R1和GPT-4o等领先模型仍缺失的文化知识。基于这些数据进行微调后，Llama-3.1-8B模型在相关文化基准测试中的准确率最高提升了19.2%。

如何有效获取LLM在预训练中未学到的、对特定文化群体用户重要的文化知识？这是一个尚未被充分探索的问题，尤其是在多语言和跨文化场景下，现有方法难以捕捉到文化内部的细微差异和重要知识点。

提出混合主动协作方法CultureCartography：由LLM基于自身低置信度问题发起提问，人类回应者不仅回答问题，还可直接编辑和引导话题方向，从而填补模型知识空白并反映真实文化关切。相比传统单向标注或知识提取方式，该方法实现了人与模型之间的双向引导。

开发了工具CultureExplorer实现该方法；实验表明，相比基线方法，此方法更能生成主流模型（如DeepSeek R1、GPT-4o）即使借助网页搜索也无法回答的文化知识；在Llama-3.1-8B上微调后，在相关文化基准测试中准确率提升高达19.2%；强调了人机协同在文化知识发现中的潜力；代码与数据集已开源，具备可复现性。

Recent advances in cultural adaptation of LLMs: 'Culturally Aware Language Models via Prompt Engineering' (ACL 2023); 'Cross-Cultural Knowledge Graph Construction for Low-Resource Languages' (EMNLP 2022); 'Human-in-the-Loop Knowledge Elicitation for Multilingual QA' (NeurIPS 2023); 'Bias and Representation in NLP Datasets: A Global Survey' (JMLR 2023).